La construcción de este edificio ubicado en la Plaza de Santa María se remonta a finales del siglo XV y perteneció inicialmente a Don Gil Bayle Cabrera, uno de los más importantes nobles de Baeza en aquella época. A su muerte, el inmueble fue cedido al Concejo para que sirviese como sede de este en tiempos de Juana la Loca y Felipe el Hermoso, cuyos escudos de armas se pueden ver en la fachada con todos sus detalles en perfecto estado.
El edificio se reformó y amplió en el siglo XVI, destacando su parte más elevada: a modo de torreón con una ventana gótica coronada por el escudo de Carlos I, fácilmente reconocible con su águila bicéfala, entre otros emblemas. Uno de los bienes muebles más llamativos de su interior era un armario de tres llaves que se utilizaba para guardar los padrones de la nobleza de la ciudad.
Esta pieza se encuentra actualmente en el Museo de la ciudad En 1838 las Casas Consistoriales Altas dejaron de albergar el Concejo baezano y pasaron a servir como archivo municipal hasta 1970. Ya a principios de los noventa se convirtió temporalmente en la sede del conservatorio con el nombre de Bartolomé Ramos de Pareja, un ilustre compositor baezano.