Сградата на музея датира от средата на 19-ти век: металните й конструкции някога са принадлежали на стъклена сграда в Южен Кенсингтън, където са се съхранявали някои от експонатите от Световното изложение през 1851 г. Този музей, построен през 1856 г., се превръща в основа за бъдещия музей на Виктория и Алберт, а до 1872 г. ръководството му търси по-солидно място. А съществуващата сграда беше предложена да бъде разделена между различни квартали на Лондон, така че там да се появяват малки общински музеи. Само властите на Bethnal Green, по това време квартал на бедните квартали, отговориха на това предложение. Те получиха цялата трикорабна конструкция от метални ферми, чиито странични отвори бяха запълнени с тухли вместо стъкло: дизайнът на новите стени беше на Джеймс Уайлд. По негова инициатива те бяха украсени с мозаечни алегорични изображения, а подът беше положен с мрамор.
През следващите сто години там бяха изложени най-различни неща: от френската живопис от 18-ти век до мебелите в стил Ар нуво. И накрая, през 1974 г. музеят е обявен за филиал на музея Виктория и Алберт и се превръща в Музей на детството. Популярността му сред лондончани и туристи нараства всяка година, но необходимостта от реконструкция става още по-очевидна: през 1872 г. Уайлд не разполага с достатъчно средства за изграждането на фоайето. И едва сега, след реконструкцията на Карузо Сейнт Джон, сградата на музея придоби по-голяма яснота и значение.
Това е първата сграда на обществена работилница в Лондон и се отличава с голям такт. Работата на Адам Карузо и Питър Сейнт Джон може лесно да се отдаде на неомодернизма, но в случая с Музея на детството те успяха да пропият духа на викторианската архитектура.
Пристройката, скриваща преддверието, е облицована отвън с плочи от порфир, кварцит и варовик, които образуват каменна мозайка, чийто орнаментален мотив наподобява триизмерна шахматна дъска. Името на музея е изложено на същото място - вече с истинска мозайка, направена от смалт. Архитектите сравняват това допълнение с основния обем на сградата с мраморните фасади на флорентинските базилики, останалите стени на които - както в случая с Музея на детството - остават тухлени.
В същото време началото на XXI век се усеща в лаконичните форми на тази „входна група“, при внимателното използване на цвета и материала. Вътре посетителят влиза в светлото фоайе, а оттам - в новата изложбена галерия, вградена в музейното пространство. В противен случай интериорът на викторианската сграда е възстановен от архитектите Caruso St John, вместо да бъде преустроен. Там, където мраморните плочи на пода на Уайлд не са оцелели, подът е настлан с дъски, както е било в началния период на съществуването на сградата - тогава все още стъкло. Цветовете, използвани в дизайна, са или популярни, или познати на 19 век. А самата постоянна експозиция не стана интерактивна, както е обичайно в много съвременни музеи. Всички играчки и други предмети от ежедневието на децата са спретнато подредени във витрини: в края на краищата те идват да се възхищават, в по-голямата си част, на възрастни, които са в състояние да оценят възстановяването на миналото в музея, независимо дали става въпрос за ежедневието или за архитектурата.
