Това решение е взето като отстъпка на агресивната позиция на членовете на семейството на убитите по време на терористичната атака на 11 септември 2001 г. Според тях на мястото, където са стояли кулите близнаци, не трябва да има институции, които да отвличат вниманието от тази трагедия. По-рано беше обявено, че само онези културни институции, които се задължават никога да не провеждат изложби и други събития, които биха могли да обидят патриотичните чувства на американците, могат да бъдат допуснати на територията на СТЦ. В резултат Центърът за рисуване, който трябваше да сподели с Центъра за свобода критично аплодирана сграда, проектирана от норвежкото бюро Snohetta, отмени договора си за наем и търси друго пространство.
По този начин планът на Либескинд отново е под заплаха: според неговия проект културните институции трябва да бъдат разположени до паметника на жертвите на терористичната атака в „отпечатъците“на основите на разрушените небостъргачи. Сега единственият гарантиран „собственик“на сградата ще бъде посетителският център.
Той също така говори за промени в позицията на властите: Центърът на свободата, който изпадна в немилост, беше замислен през 2002 г. като институция, посветена на историята на борбата за лична свобода по света.
След обявяването на губернатора Джордж Патаки за цензура на сайта на СТЦ през юли 2005 г., много известни общественици напуснаха съвета, ръководейки проектирането и изграждането на новия комплекс. След последното решение на Патаки там напуснаха още няколко души, включително Агнес Гунд, почетен директор на Музея за модерно изкуство и виден филантроп. Сега, според анализатори, ще бъде особено трудно да се съберат пари за изграждането на сградата на Снохета и паметника на Майкъл Арад. Така съдбата на сградата беше застрашена. Бъдещето на театралната сграда, проектирана от Франк Гери, също е несигурно: архитектът се оплака пред журналисти от пълната липса на контакти с клиенти, а изпълнението на проекта беше планирано за "втората фаза" на възстановяването на Световния търговски център - тоест в далечното бъдеще.
