La Academia se instala en Valladolid en 1852 aprovechando un edificio octogonal, construido en 1847 para servir de presidio. En 1915 se incendia y entre 1921-27 se edifica el actual, siguiendo el proyecto de Adolfo Pierrad. El edificio es similar a los palacios señoriales del Renacimiento; de hecho, se tomó como modelo el Palacio de Monterrey de Salamanca. El uso de diferentes materiales, como el granito y la arenisca dorada salmantina, provoca una policromía en todo su conjunto.

El presente Museo se crea a partir de 1975. Entre sus fondos se encuentran pinturas, esculturas (destacan dos obras de Mariano Benlliure), estandartes, una colección de soldados de plomo y otra de armas que se remontan al siglo XVI, trofeos, fotografías, herraduras, sillas de montar…y una de las pocas máquinas Enigma, tan importantes en la Segunda Guerra Mundial, que pueden verse en España. Se puede visitar, asimismo, la biblioteca que cuenta con más de 12.000 volúmenes desde el siglo XVI.

Frente a la entrada se instaló en 1931 el Monumento al Regimiento de Cazadores de Alcántara, obra del escultor Mariano Benlliure.