В конце XIX страховое общество «Россия», будучи крупной компанией с правлением в Санкт-Петербурге, приобретает за 475 тысяч рублей серебром у титулярного советника Мосолова земельный участок, выходящий на Лубянскую площадь, общей площадью 1110 квадратных саженей со всеми постройками. Московские власти разрешили страховому обществу снести все постройки и «Россия» объявила конкурс на лучший архитектурный проект будущего здания. Лучшим был признан проект архитектора Н. М. Проскурнина и по нему началось возведение дома 1.
Сама Большая Лубянка к тому времени была занята уже 15 офисами страховых компаний, поэтому «Россия» решает купить еще один угловой участок, также выходящий на Лубянскую площадь. Так родилась идея постройки дома 1 и дома 2 в едином стиле на соседних участках, разделенных улицей Малая Лубянка, начинавшейся тогда от Лубянской площади.
Знаменитое здание 2 было построено в 1897—1900 годах архитектором А. В. Ивановым, автором «Националя», при помощи Проскурнина в стиле неоклассицизм с необарочными деталями. Дом 2 выходит на Большую Лубянку боковым торцом. Дом 1 и дом 2 по Большой Лубянке являлись доходными домами, принадлежавшими страховому обществу «Россия». Оба здания сдавались «Россией» под квартиры и торговые помещения. Среди магазинов — книжный (Наумова), швейных машин (Попова), кроватей (Ярнушкевича), пивная лавка Васильевой и Воронина. В доходном доме было 20 квартир, по 4-9 комнат каждая, съём которых в 2-3 раза дороже, чем других квартир в Москве. В этом здании родился генетик Владимир Эфраимсон (впоследствии прошедший лагеря). Дом на Лубянке приносил «России» 160 тысяч рублей годового дохода.
В декабре 1918 года были ликвидированы все частные страховые общества, а их имущество национализировано, в том числе и «России». В мае 1919 года дом по Большой Лубянке, 2 сначала решают отдать Московскому совету профсоюзов, однако всего через несколько дней в него въезжают представители НКВД РСФСР, выселив всех квартиросъемщиков. В сентябре 1919 года часть бывшего дома страхового общества «Россия» занимают работники новой службы — Особого отдела Московской ЧК, а затем весь дом был отдан Центральному аппарату ВЧК (ранее, с марта 1918 года, располагавшегося в здании по Большой Лубянке, 11).
С этого времени дом на Лубянской площади (в 1926—1991 — Дзержинской) переходил всем его преемникам — ОГПУ до 1934, затем НКВД и МВД (в период объединения ведомств внутренних дел и госбезопасности), НКГБ и МГБ (в период существования отдельных ведомств госбезопасности), а с 1954 КГБ СССР. После 1991 года в здании располагались главные российские спецслужбы, менявшие официальные названия (с 1996 года — ФСБ). Благодаря этому зданию слово Лубянка стало нарицательным и приобрело известность как обозначение советских органов госбезопасности и внутренней тюрьмы на Лубянке.
В здании на Лубянке с 1920 года располагалась внутренняя тюрьма госбезопасности, расширенная в 1930-е годы. Среди известных заключённых — Борис Савинков (погиб в здании на Лубянке), Сидней Рейли, Николай Бухарин, Осип Мандельштам, Александр Солженицын (изобразивший её в романе «В круге первом»), Владислав Андерс, Константин Родзаевский (расстрелян в здании), Рауль Валленберг (возможно, умер или был расстрелян в здании, однако его точная судьба неизвестна), Янош Эстерхази, Зоя Фёдорова.
Как местопребывание аппарата госбезопасности улица Большая Лубянка и Лубянская площадь в советское время носили имя основателя ВЧК Ф. Э. Дзержинского.