Han passat vuit anys i en Valjean, després de trencar la llibertat condicional i canviar-se el nom per monsieur Madeleine, es converteix en amo d'una fàbrica i en alcalde de Montreuil-sur-mer.

A la seva fàbrica hi treballa una noia, Fantine, que té una filla "secreta", cuidada per una parella que porta un hostal. Quan les companyes de fàbrica descobreixen el secret, li expliquen al capatàs, i aquest acomiada Fantine. Llavors, ella es veu obligada a vendre's el cabell i a prostituir-se. Un dia té un incident amb un home i cau malalta. Valjean la porta a un hospital, perquè en part se sent culpable de la seva mala sort.



Javert, el policia que va empresonar Valjean, és destinat en aquell poble i comença a sospitar de l'alcalde quan veu que ajuda un home a sortir de sota d'un carro. Valjean creu que podrà allunyar-se del seu passat quan un altre home és acusat de ser en Valjean. Però el Valjean de veritat finalment decideix presentar-se al tribunal i confessar que ell és el veritable ex-presoner.



Després va a l'hospital a visitar Fantine, que s'està morint, i li promet que cuidarà de la seva filla, Cosette. Llavors apareix en Javert per detenir-lo, però ell s'escapa.



Arriba al poble on hi ha la Cosette i paga als Thénardier (els amos de l'hostal) per cobrir les despeses de la Cosette i endur-se-la  a París.

​