В 1769 году начались первые работы по строительству Кремлевского дворца. Главным архитектором был Василий Баженов, а его заместителем — Матвей Казаков. Баженов создал макет будущего дворца размером почти в человеческий рост. Для его хранения построили отдельное здание, там же поселился и архитектор. А императрица издала указ, согласно которому посмотреть на модель могли все желающие, кроме «подлого народу» — простолюдинов, модель до сих пор представлена в Московском государственном музее архитектуры имени А.В. Щусева.
Екатерина II на закладке Кремлевского дворца присутствовать не пожелала. У нее пропал интерес к проекту. Василий Баженов оказался в весьма затруднительном положении. Итоги для Баженова были неутешительными: его детище осталось только на чертежах, а сам он оказался в долгах — и это притом, что в семье к тому времени было уже четверо детей.
В этот же период Василий Баженов был привлечен Михаилом Измайловым к работе над усадьбой Быково, но после неудачи его работу в Быково продолжил Матвей Казаков.
Портрет Екатерины II