Quan el poble ja estava conquerit als musulmans, com que el comte d’Urgell Ermengol IV va ser ajudat d’igual i important manera per part d’un bisbe i d’un noble, el comte els va donar la localitat perquè hi construïssin el que, segons ells, més hi fes falta. Es reuniren el noble i el bisbe i discutiren sobre el que hi havien d’edificar. El bisbe, com és natural i per a augmentar la fe, hi volia un monestir. El noble, per a defensar el territori, hi volia un castell. I ja veus aquí, que el bisbe deia que havia de ser un monestir i que el noble deia que havia de ser un castell. Que si un castell, que si un monestir. Que si un monestir que si un castell. I com més discutiren, més s’entossudien i fins i tot començaren a escridassar-se, fins que fora de si, el noble tragué l’espasa i amb un fort cop damunt de la taula digué: un castell serà! I d’aquí ve el nom del poble: Castellserà.

Després de la conquesta d’aquest terme per part del Comte d’Urgell a finals del s.XI, s’anà formant la població al voltant de la fortalesa anomenada Torre dels Canonges.
El 1307 el rei Jaume II concedí en feu el poble de Castellserà al comte d’Urgell Ermengol X. El Castell va estar sota el domini de diversos senyors i comtes fins que el 1318 l’Abat Copons de Poblet va comprar el castell i la vila amb totes les seves rendes i els seus drets.
Castellserà restà sota el domini de Poblet en condicions diverses fins a la desamortització eclesiàstica del s.XIX, quan se subhastaren totes les terres del monestir.

El poble va créixer a l’entorn de la fortalesa medieval. Conserva edificis del s. XVI i XVII. El carrer de Santa Maria assenyala la zona del poble originari.
El fill il·lustre d’aquesta vila és el mestre Valeri Serra i Boldú que dedicà la seva vida a recollir i estudiar amb un gran interès el folklore català, sobretot el de les terres de l’Urgell.