這座州立博物館曾是 Raja Syed Alwi 國王賜給胞弟兼宰相的 Syed Salim bin Syed Muhammad al-Jafri 的封地。

19世紀末期, Syed Salim 在封地上建造了府邸並舉家遷入，直到 1909 年《曼谷條約》（Bangkok Treaty）訂立後，才將土地售予州政府。自此，王府就成了州政府英國顧問的官邸。在 1941年二戰爆發前，英國首任顧問 Meadow Frost 及其繼任者都在此居住；1941至1943年間，官邸被日本軍部佔據，1943至 1945年則為泰國軍政府所用。

馬來西亞獨立後，玻璃市州長進駐其中。1980年代早期，州長 Dato' Jaafar Hassan遷出後，這裏成了一座知名會館。1991年，王府被拆除，建起了現在的州立博物館，結構和老宅一模一樣。玻璃市文物中心(Kompleks Warisan Negeri)也在博物館內。