Cal passejar pels carrers del poble i admirar els antics portals al carrer de Baix i el del Centre. El carrer Major i la plaça de l’Església configuren els llocs més emblemàtics d’Altet.

L’edifici d’estil barroc de transició al neoclàssic data del segle XVIII, tot i que es creu que ja hi havia una església primitiva al s.XI segons documents trobats a l’església de Guissona.

Avui només queden uns 4 m de la torre circular. Es creu que antigament tenia tres elements constructius: una muralla closa, la torre circular al cim del tossal i una altra muralla que cobria la primera.

La notícia més antiga del castell  data del 1121, en  què es parla de les terres i les vinyes del terme. També és conegut amb el nom de castell de l’Ofegat, nom que li ve ja de l’any 1133 quan en el testament de Gombau i la seva muller, deixen al seu fill Bernat unes cases que tenien a Kastrum Offegat.
L’indret donà origen a un llinatge del mateix nom, així s’anomenaven Guillem de l’Ofegat o Pere de l’Ofegat. Vers el segle XII el castell i el terme passaren a mans del monestir de Santes Creus a l’Alt Camp, encara que no tardà massa temps a desprendre-se’n, ja que l’any 1324 el rei Jaume II concedí a Arnau Messeguer, senyor del castell, el dret d’entrar vi a la vila de Tàrrega. A finals del segle XV el lloc prengué el títol de baronia ja que la seva senyora fou la baronessa de Soldevila. Més tard, l’any 1559 la seva filla Elisabet va vendre el castell i el terme al consell general de Tàrrega.
L’any 1949 fou declarat Bé Cultural d’Interès Nacional.