The Replacements começaram em 1979, quando Paul Westerberg se juntou à banda punk formada pelos irmãos Bob (guitarra) e Tommy Stinson (baixo). Originalmente, o grupo se chamava The Impediments, mas eles tiveram que mudar o nome após serem expulsos de um clube, onde se apresentavam, por mau (péssimo) comportamento.
No começo, o som do The Replacements lembrava muito o de seus conterrâneos do Hüsker Du, líderes da cena punk de Minneapolis. Entretanto, os Replacements eram mais selvagens e soltos do que os Hüskers e rapidamente se tornaram conhecidos pelos seus shows bêbados e caóticos. Após conseguirem um grande público local, assinaram com o selo Twin/Tone de Minneapolis.
Sorry Ma, Forgot to Take Out the Trash, um bom álbum de hardcore foi lançado em 1981, mas não conseguiu causar grande impacto fora de Minneapolis. Ele foi seguido, em junho de 1982 por Stink, gravado no estúdio Blackberry Way, na própria Minneapolis. São oito faixas de punk-hardcore adolescente (basta reparar no nome das músicas: Kids Don’t Follow, Fuck School, Stuck in the Middle, God Damn Job, White and Lazy, Dope Smokin’ Moron, Go e Gimme Noise), com uma sonoridade tipicamente americana.
Antes da primeira faixa, Kids Don’t Follow, pode ser ouvida uma gravação da polícia de Minneapolis interrompendo um show da banda. É possível escutar alguém da plateia mandando as autoridades para “aquele lugar”. Dizem que o autor do impropério é Dave Pirner, vocalista do Soul Asylum.
Stink foi remasterizado e relançado pela Rhino Entertainment em abril de 2008, com quatro faixas a mais. Nos LPs seguintes, The Replacements começou a diversificar seu som e se afastar da cena punk até o seu fim, em 1991. O líder e vocalista Paul Westerberg ainda conseguiu algum sucesso com duas faixas (Dislexyc Heart e Waiting for Somebody) na trilha sonora do filme Vida de Solteiro, em 1992.