Les structures inégalitaires de l'ordre social rangent certains individus dans des catégories infériorisées (femme, gay, noir, etc.). L'appartenance à l'une de ces catégories produit un type spécifique de psychisme et de rapport au monde. Prenant pour fil conducteur les écrits de Genet, mais aussi ceux de Proust, Green, Jouhandeau, Fanon et bien d'autres, Didier Eribon décrit ce que suscite dans la conscience et dans l'inconscient le fait d'être insulté, stigmatisé, voué à l'"abjection".
Il élabore une analyse historique et sociologique de la subjectivité minoritaire, qui place en son centre l'un des affects les plus puissants de la vie sociale : la honte. Comment la honte est-elle inscrite dans le corps des individus différents ? Comment ceux-ci se réinventent-ils à partir de l'exclusion qui les a façonnés et deviennent-ils, par l'affirmation de ce qu'ils sont, les producteurs de nouvelles subjectivités ? En soulevant ces questions, Didier Eribon récuse la conception psychanalytique du sujet, et lui oppose une politique de décolonisation des esprits.