僧格林沁承袭科尔沁郡王，因军功加封亲王、食双俸。因此，僧王府最初只是一般的郡王府，其规模和规制远不能与后来几乎占了整条胡同的“世袭罔替”的亲王府相比，后来的僧王府是累年扩建改建而成的。 清道光六年(1826年)，僧格林沁出银6690两认买了前任杭州织造福德入官的房屋117间。认买后，进行改建，与西部的原府连在一起，构成由东、中、西三所四进院组成的王府。其中东所除正院四进外，还有东院四进。东所的大门被改建成五脊六兽三开间的府门，以符合亲王府制；王府的正殿仍在中所正院。