La Peña de Martos es una montaña de forma casi de cono, con una cima de plana a 1.003 metros de altitud. Gracias a la Peña se dieron las condiciones para que se produjeran asentamientos de distintos pueblos y culturas en la ciudad que hoy es Martos. Los restos de la actual Fortaleza Alta de la Peña fueron realizados por la Orden Militar de Calatrava, los cuales realizaron importantes obras en el Castillo: reforzaron la estructura defensiva y construyeron un aljibe.
Debido a su estructura y posición, la Peña siempre ha tenido un papel defensivo. Existen evidencias de una construcción íbera y en la ocupación árabe se construye un recinto fortificado sobre los cimientos del recinto íbero que ocupa todo el perímetro de la meseta.
El Castillo sufrió varias reconstrucciones de las que sólo se conservan algunos restos. El Castillo presenta una planta irregular, dividido en dos partes independientes: el Alcázar y el Patio de Armas, con todo el conjunto rodeado por una muralla de la cual se conservan varios lienzos.
Tras el fin de su uso defensivo a finales del siglo XV, la fortaleza se abandonó comienza a deteriorarse. Es tanto su deterioro, que hoy en día solo se conservan algunos lienzos de muralla y cubos defensivos, restos del aljibe y restos de la Torre del Homenaje.