Por Real Cédula del Rey Carlos II el 31 de enero de 1676, fue fundada la Universidad de San Carlos, la cual constituyó la tercera más antigua de América. Bernardo Ramírez se cree que fue quien construyó el edificio en 1763. Cuando la capital fue trasladada al Valle de la Ermita en 1776 la Universidad también dejó de funcionar. Actualmente en sus instalaciones se encuentra el Museo de Arte Colonial.