L’edifici actual es construí vers el 1875 seguint les línies romàniques i gòtiques de l’antic monestir cistercenc del Pedregal, anomenat l’abadia cistercenca de Santa Maria del Pedregal.  Fou restaurada pel Consell Comarcal de l’Urgell amb pedres de l’antic monestir. Aquest era una filial del cenobi de Vallbona de les Monges. Fou fundat l’any 1190 per la família dels Anglesola. Les donacions foren durant el segle XIII i fins i tot  es construí un alberg annex al monestir que acollia els pelegrins i caminants que passaven. L’any 1604  l’abat del Cister ordenà la fusió de les cases del Pedregal i va deixar de tenir vida monacal. Sota el camí de Tàrrega al Talladell, encara hi ha restes de murs de l’antic monestir.

A l’interior de l’ermita hi ha guardada la imatge romànica de la Mare de Déu de la Llet.
 

Ermita Mare de Déu del Pedregal del Talladell