La Ermita de San Antonio de la Florida fue construida entre 1792 y 1798 por el arquitecto italiano Felipe Fontana. Cuando se construyó la ermita, había pastos a su alrededor, por eso se la llamaba desierto.
La fachada del edificio está decorada con pilastras que descansan sobre un zócalo de granito. Sólo hay un edificio, y las bóvedas interiores fueron pintadas por el propio Francisco Goya. La capilla se construyó por orden de Carlos IV, quien deseaba una iglesia en este lugar. Como la capilla pertenecía a la corte real, el clero no controlaba el trabajo del artista, que era libre de realizar sus ideas creativas. Para crear los frescos, utilizaba una esponja, que hacía que los colores parecieran más brillantes. Goya tardó seis meses en pintar la capilla. Los personajes de los frescos eran los habitantes del Madrid de la época.
La bóveda del altar central se llama "Adoración de la Santísima Trinidad". "El Milagro de San Antonio de Padua" es el nombre de la pintura interior de la cúpula. Si se mira desde abajo, crea el efecto de una imagen tridimensional. El argumento de este fresco narra el milagro de la resurrección realizado por San Antonio en Italia. En el interior de la capilla hay espejos colocados en un ángulo tal que la gente puede ver los detalles del cuadro sin inclinar la cabeza.
El gran Goya murió en 1828 en Burdeos. Los restos del artista fueron trasladados a la capital española en 1919. Están enterrados en el panteón bajo la base de la iglesia. Sólo se enterró el cuerpo - la cabeza del artista fue robada por alguien.
Desde 1905, la capilla está declarada monumento histórico. Para preservar los valiosos frescos, los oficios regulares se trasladaron a un skete construido junto a la capilla original. En el antiguo edificio se creó un museo, cuya reconstrucción concluyó en 2005.
