Los jardines se crearon en 1750 y siguen siendo uno de los pocos ejemplos de jardines nobles del siglo XVIII que se conservan. Sin embargo, la forma en que lo vemos hoy no es la versión original. El diseño moderno fue creado por Javier de Wintheisen en 1920. A pesar de la reconstrucción llevada a cabo a principios del siglo XX, el jardín consiguió conservar su estructura original. Su trazado es de estilo neoclásico y consta de un parterre en forma de cruz con un seto bajo. La fuente baja de mármol blanco sin pulir que había en el centro fue trasladada y sustituida por una fuente alta de piedra brillante.
Se ha conservado el trazado original, así como el pavimento de ladrillo de los caminos. En el terraplén artificial aún se puede ver una estructura colgante oculta por altos muros.
El jardín debe su nombre al palacio adyacente. Se trata de una típica residencia nobiliaria perteneciente a Álvaro de Benavides. Se construyó en el siglo XVII con la austeridad característica de los edificios castellanos. En el siglo XVII fue residencia de cortesanos famosos, como el Príncipe de Anglona, y en la actualidad alberga el famoso restaurante madrileño de cocina creativa Palacio de Anglona.
