Junto à Igreja de Santa Maria, existiu um Paço do Concelho nos fins do século XIV. Sobre edifício anterior, foi construído a mando do rei D. Manuel nos inícios do século XVI. Recebeu obras em meados do século XVII. A partir do século XIX, foi utilizado para diversas funções, sendo adaptado a Museu Municipal em 1970 e mais recentemente a Museu Abílio de Mattos e Silva.
