Il castello di Chiaramonti si trova sul Colle San Matteo, uno dei tre colli su cui è situato il paese
di Chiaramonti. Prende il nome dal cognome materno Brancaleone Doria, marito di Eleonora
d'Arborea.
Nel 1348 fu occupato da Rambaldo di Cobrera, poi, alla conclusione della pace del 1350 fu restituito dal re d' Aragona a Brancaleone e Matteo Doria, che ricevettero ugualmente in feudo Monteleone e altre località in cambio dei diritti su Alghero".
Nel 1357 appartenevano ancora ai Doria. Il giudice d'Arborea, Mariano IV, ambiva tanto di possederlo, che lo pretese in dote per le nozze di sua figlia Eleonora con Brancaleone. D'altra parte il re d'Aragona Pietro IV sperava di poter entrare in possesso con le nozze di un suo fido cortigiano con Violante Doria, sorella di Brancaleone.
Il castello era costituito da una torre da un fabbricato capace di ospitare balestrieri e soldati.
Della struttura originaria è rimasta la base quadrangolare della torre. Il resto fu modificato dagli aragonesi e mutato in una chiesa.
Il "Castello dei Doria", così la tradizione popolare chiama il complesso di ruderi che si vedono nella parte più alta della cittadina: il complesso, tuttavia, visto dall'interno è una chiesa
tardo gotica ad una sola navata e a otto cappelle .
Nell'abside permangono parti delle crociere e le imposte delle nervature della volta, di stile aragonese. Accostata alla Chiesa, vi è una torre a base quadrangolare in conci di calcare squadrato, alta circa 10-12 metri, in un terreno pieno di detriti, che innesta nella parte superiore una struttura poligonale che ha tutte le caratteristiche architettoniche del campanile gotico, come nella chiesa di Bonaria a Cagliari.