Esta casa fue levantada por Gabriel de Olivares y Benito, deán de la Catedral y obispo de Durango entre 1796 y 1812. Al igual que otras casas en Durango, la casa fue construida por el maestro alarife Pedro de Huertas.
La portada presenta jambas con almohadillados que terminan en unos roleos de los que emerge un edículo terminado en una cruz, como era de esperarse en la casa de un eclesiástico.
Bajo la cruz se desprende una guardamalleta, a manera de estandarte, donde debe haber estado el escudo del prelado. Por su parte, las ventanas fueron ampliadas durante la modernización porfiriana de la ciudad.
Con el auge minero de la segunda mitad del siglo XVIII se pudieron labrar suntuosas residencias de los principales vecinos en las que se utilizaron también los repertorios que dieron un carácter diferente a la arquitectura civil duranguense.