Es la iglesia del antiguo convento de San Hermenegildo, fundado en 1586 por Fray Nicolás de Jesús y María. El edificio original fue derribado a principios del siglo XVIII, y en 1730 comenzó la construcción del edificio que podemos ver hoy. Se trata de una típica iglesia barroca madrileña, construida sobre una planta de cruz latina con una nave central y dos laterales. Las puertas de entrada tienen una verja de hierro forjado que es obra de Juan Gil. Sobre la entrada principal hay una cruz carmelita y en la hornacina una imagen de la Virgen del Carmen.
En 1912, Juan Moya reconstruyó la fachada, ampliándose a ambos lados con motivo de la apertura de la Gran Vía.
En 1836, tras la desamortización de Mendizábal, la iglesia se convirtió en parroquia y el convento fue derribado para construir el famoso Teatro Apolo. En la actualidad, los terrenos están ocupados por un edificio perteneciente a una entidad bancaria.
El interior de la iglesia es como un tesoro de obras de arte. Merecen especial atención el Cristo crucificado, soberbia escultura de Alonso de Mena, y San José, de Luis Salvador Carmona.
Como muchos edificios centenarios, hay una leyenda asociada a esta iglesia. En el siglo XIX, en un carnaval, un joven vio a una hermosa muchacha de largos cabellos negros, con un vestido blanco y piel clara. Por supuesto, el joven quedó inmediatamente encantado. Pasaron una noche maravillosa bailando y charlando. Cuando terminó el carnaval, la chica dijo que tenía que ir a la iglesia de San José. El joven la acompañó y se despidieron. Antes de marcharse quedaron en verse aquí al día siguiente a las 12. A la mañana siguiente el joven corrió a encontrarse en la iglesia de San José para hablar con el párroco, pensando que debía tratarse de alguna criada o alguna sobrina, cuando llegó se encontró con que había un entierro. Miró dentro del ataúd y vio que se trataba de aquella mujer de pelo negro. Muerto de miedo, salió corriendo de la iglesia. Un amigo de la difunta le alcanzó y le dijo que en el momento en que el joven la conoció, la chica había muerto.