Чаще всего усадьбу называют дачей Воронцова, хотя ее владельцами были многие известные люди.
Само здание было построено в 1750-х годах, когда хозяином усадьбы был русский дипломат Михаил Илларионович Воронцов. Вскоре началось строительство целого ансамбля (нескольких зданий, построенных в одном стиле) вначале архитектором Джузеппе Трезини, а затем Антонио Ринальди. В это время территория усадьбы состояла из двух участков (ранее это были отдельные имения) и была довольно большой.
С 1767 года, когда Михаила Воронцова не стало, его родственники очень долго пытались продать усадьбу. Только через 20 лет, в 1790 году, ее купил тайный советник Александр Николаевич Зубов.
Усадьба переходила от одного владельца к другому, пока в 1829 году ее не купил Александр Нарышкин, русский политик. Он также приобрел и четыре соседние усадьбы. Территория стала огромной, назвал он свое поместье «Бельвю» (в переводе с французского это означает «прекрасный вид»). Поместье было известно даже в Санкт-Петербурге.
После смерти Нарышкина эта большая территория была распродана по отдельным участкам. Основную часть поместья приобрел богач Петр Мятлев, который переименовал «Бельвю» в «Новознаменку». Он был известным коллекционером и собрал в усадьбе большую коллекцию книг и картин.