El arco o puerta del Barbudo era uno de los accesos que había en la antigua muralla de Baeza. Su nombre, según la tradición oral, se debe a que por esta puerta pasó Martín Yáñez de la Barbuda, maestre portugués de la orden de Alcántara, en 1394 para luchar contra los musulmanes de Granada. Su ejército fue derrotado y él resultó muerto en lo que se conoció como una pequeña cruzada de Barbuda que no contó con el apoyo del rey cristiano Enrique III.
Buena parte de la muralla fue derribada por orden de la reina Isabel la Católica debido a las luchas internas que se dieron en Baeza en el último cuarto del siglo XV. Pero el arco del Barbudo permaneció, con su composición de sobria mampostería. También la hornacina con un lienzo de la Virgen con Niño situada en uno de los extremos, con unas oraciones del obispo Don Benito Marín fechadas en 1758. En todas las ciudades conquistadas se dejaba constancia de este hecho en la contrarreforma barroca.