Особняк миллионера Арсения Морозова был построен в 1895 — 1899 годах архитектором Виктором Мазыриным.
Арсений Морозов принадлежал к богатому купеческому роду Морозовых и приходился двоюродным племянником Савве Морозову. В начале 1890-х годов он совместно с Мазыриным, своим другом, совершал путешествие по Испании и Португалии. На миллионера, равно как и на архитектора, неизгладимое впечатление произвёл португальский дворец Пена в Синтре, построенный в середине XIX века и сочетающий элементы испано-мавританской средневековой архитектуры и национального стиля мануэлино.
По возвращении в Москву Арсений Морозов загорелся идеей построить себе дом-замок, повторяющий в общих чертах стиль дворца Пена. На участке, подаренном матерью Варварой Алексеевной к 25-летию сына, вместо небольшого классицистического особняка начала XIX века вскоре вырос необычный дом. Ещё на стадии строительства он стал объектом насмешливых разговоров москвичей, сплетен, слухов и критических газетных публикаций. Общественное мнение восприняло экзотический особняк неодобрительно, как выражение крайнего эксцентризма.
Арсению Морозову, прослывшему мотом и кутилой, недолго было суждено жить в роскоши экзотического дома. Однажды, в 1908 году, он на спор прострелил себе ногу, стремясь доказать, что человек в состоянии вытерпеть любую боль. Началось заражение крови, от которого он скончался через три дня в возрасте 35 лет.
После Октябрьской революции дом стал штаб-квартирой анархистов, но ненадолго. В мае 1918 года сюда переехала Первая рабочая передвижная труппа театра Пролеткульта. В начале 1920-х годов с ней сотрудничал Сергей Эйзенштейн, сделав в стенах морозовского особняка несколько авангардистских спектаклей. Театр занимал здание до 1928 года.
В конце 1920-х годов здание передали Наркомату иностранных дел. С 1928 по 1940 год здесь размещалось посольство Японии; в 1941—1945 годах — редакция английской газеты «Британский союзник»; с 1952 в течение двух лет — посольство Индии. В 1959 году хозяином здания стал «Союз советских обществ дружбы и культурных связей с народами зарубежных стран» и особняк получил обиходное название Дома дружбы народов.