La iglesia fue construida en la década de 1620 por el rey Felipe III, diseñada por Pedro Sánchez en estilo barroco. Junto con la iglesia, se construyeron un albergue y un hospital. El rey construyó estos edificios para ayudar a sus súbditos portugueses en Madrid. Por esta razón, en un principio se llamó Hospital de los Portugueses. Cuando Portugal obtuvo la independencia, la reina Mariana de Austria dedicó el asilo a los inmigrantes alemanes y le cambió el nombre.
Es un templo que puede pasar fácilmente desapercibido para la mayoría de los viandantes por la sencillez de su fachada, que contrasta con su impresionante interior. El altar mayor de alta decoración y los tres altares laterales se remontan al siglo XVIII y fueron encargados por los últimos reyes Habsburgo de España.
El rey Felipe V cedió la gestión de la iglesia a la Hermandad del Refugio, que la sigue gestionando en la actualidad, ofreciendo comida y refugio a los sin techo de Madrid. La iglesia está dedicada a San Antonio de Padua, patrón de los pobres. Nacido en Lisboa en 1198, fue un sacerdote de la orden franciscana, conocido por sus elocuentes sermones. Se le considera el patrón de los que han perdido la esperanza.
La iglesia contiene frescos de Luca Giordano, pintor de la corte del rey Carlos II de España. Era conocido por su rapidez para dibujar y le apodaban «Luca fà-presto».
Esta iglesia barroca se encuentra a pocos pasos de la Gran Vía y de la estación de metro más cercana de Callao.