乾隆四十一年，即1776年，和绅开始在这东依前海，背靠后海的位置修建他的豪华宅第，时称“和第”。嘉庆四年正月初三太上皇弘历归天，和绅被“赐令自尽”。而宅子本身，则如愿归“爱豪宅不爱江山”的胞弟庆僖亲王永璘所有。与此同时，嫁予和绅之子的乾隆之女和孝公主，仍居住在半座宅第中。咸丰元年，即1851年，清末重要政治人物恭亲王奕訢成为这所宅子的第三代主人，改名恭王府，恭王府之名由此沿用至今。　“一座恭王府，半部清朝史”是历史地理学家侯仁之对恭王府的评价。