El castillo roquero levantado sobre restos posiblemente romanos, fue reformado sucesivamente por el Conde de Lemos en la segunda mitad del s.XV, construyendo en la última etapa unas casas con grandes ventanales hacia el impresionante paisaje y a las que se retiró en 1480 tras abandonar Ponferrada. La obra de rehabilitación, financiada principalmente por la Fundación de Patrimonio Histórico de Castilla y León, ha excavado completamente el edificio recuperando las plantas bajas y reponiendo los forjados intermedios y en algunos casos las cubiertas de estas casas. Tras la obra son accesibles sus adarves y ventanales, y se ha consolidado el roto del ventanal de la sala principal a modo de gran mirador sobre el Bierzo.