El castillo de Matrera fue mandado construir por Omar Ben Hafsun, a finales del siglo IX. Los tartesios e iberos habían utilizado anteriormente el monte donde se encuentra. En 1256, la villa, el castillo y las aldeas dependientes, fueron donados por Alfonso X a la Orden Militar de Calatrava, que los había conquistado. A principios del siglo XIV volvió a manos musulmanas, siendo reconquistado definitivamente por Alfonso XI en 1341. En 1342, el monarca concedía a Sevilla el castillo de Matrera y sus territorios. Al estar situado en plena Frontera o Banda morisca fue asediado por los musulmanes granadinos en 1408 y en 1445.
En 2013 y debido a su total abandono a pesar de estar declarado Bien de Interés Cultural, se hundieron las bóvedas de la torre, tras otros derrumbes anteriores. El hundimiento ocasionó la pérdida íntegra de las tres plantas de la torre y sus bóvedas, el muro Norte en su totalidad y el Oeste parcialmente. Esta catástrofe se esperaba y el ayuntamiento de Villamartín avisó reiteradas veces a la Junta de Andalucía que no hizo nada por evitarlo.
El 30 de octubre de 2014, Hispania Nostra incluyó el Castillo de Matrera en la Lista Roja, para llamar la atención sobre el desastre ocurrido y avisar que el deterioro continuaba.
En 2015 se decidió la consolidación de la torre, llevándose a cabo en ese año. Mucho más barato hubiera sido haberle prestado atención, interviniendo antes del derrumbe.
La «consolidación y restauración» [así se titula por los arquitectos que han intervenido], verdaderamente lamentable, ha sorprendido, y muy mal, a propios y extraños. No necesita comentarios pues puede verse en la fotografía. Sí hemos de decir que nos han escrito extranjeros que no comprenden como en España se cometen todavía estos disparates que califican de «masacre» del Patrimonio. Y ciertamente que lo es.