El inmueble que ocupa la Casa Museo fue construida al mismo tiempo que el Convento de las Capuchinas, por iniciativa del clérigo Diego José Cervantes, en el siglo XVIII. Entre 1869 a 1910 fue la casa del cura Agustín Rivera y San Román, quien también fungió como historiador y catedrático, de ahí que dicho museo tome su nombre. Durante los años revolucionarios se utilizó como cuartel militar, siendo reconstruida en 1963 por el gobernador Agustín Yáñez y encontrándose bajo custodia del INAH desde 1971. Dada la importancia de su arquitectura, así como sus múltiples funciones a lo largo del tiempo, es necesario contar con un programa de mantenimiento preventivo.