Идеята за нова сграда се ражда преди седемнадесет години, когато Великото херцогство се превръща в една от шестте държави-основателки на Европейския съюз и властите решават да подкрепят имиджа на Люксембург не само като икономически просперираща държава, но и като важен културен център на континента. Въпреки това самата идея за създаване на колекция от съвременно изкуство и нейното архитектурно въплъщение под формата на проект на J. M. Пей срещна съпротива в различни кръгове на консервативно настроеното общество. В резултат на това концепцията му е била преразглеждана няколко пъти, проектирането и дори строителството е било спряно. Едва през 1997 г. мястото на музея е определено: руините на крепостта Тунген (1732), които са включени в новата сграда. През 1999 г. строителството започва, но след това е прекъснато за четири години, защото Пей иска да използва само златен варовик от Франция за своето строителство и това поражда много нови проблеми.
Също така възникнаха трудности с колекцията: тъй като в Люксембург никога не е имало колекция от изкуство на 20-ти век, тя трябваше да бъде създадена. Поради ограничените средства не се говореше за закупуване на произведения на Дали и Пикасо: по-голямата част от експонатите от 230-те предмета, принадлежащи на музея, принадлежат към периода след 1980 г. Но, според директора на музея Мари-Клод Бо, той е предназначен за допълнително разширяване на колекцията, за събиране на изкуството на бъдещето, изкуството на XXI век.
Комплексът е разположен в средата на парк, между два бизнес района на града. Неговата определяща черта е зеленикавата стъклена кула над главния атриум, напомняща на крепостта, над която е построена. Почти всички етажи на основното ниво са направени от стъкло, така че повечето зали имат естествена светлина. На приземния етаж има две малки галерии и лекционна зала. Отвън стените на музея са облицовани с варовик с цвят на мед, главният вход на музея е сложна пространствена композиция под формата на ниша. Общата площ на сградата е 10 000 кв. м, от които 4800 кв. м - изложбени пространства. Музеят носи името на великия херцог Жан, който сега е прехвърлил управлението на страната на сина си Анри.
