La banda fue creada por Gary Marx y Andrew Eldritch. El nombre fue inspirado por la película de Robert Altman «McCabe & Mrs. Miller» de 1971, que incluía la canción de Leonard Cohen titulada “The Sisters of Mercy”, y su logotipo está inspirado en un libro clásico de anatomía, Anatomía de Gray.
Se estamparon camisetas de la banda, que pasaron a ser un complemento muy deseado por los adolescentes de la época, se formó el sello Merciful Release, se grabó y publicó un sencillo, «The Damage Done», con Gary Marx a la guitarra y Eldritch como batería.
En 1981 la banda se reorganizó, incluyendo a Craig Adams al bajo, mientras que Eldritch fue sustituido en la batería por una caja de ritmos que fue bautizada como Doktor Avalanche y el Coro de la Venganza. Eldritch se encargaba de escribir las letras, programar la caja de ritmos y de las labores de producción, mientras que compartía con Marx, y ocasionalmente con Adams, la composición de la música. Más tarde, Ben Gunn pasó a ser el segundo guitarrista después de que varios otros ocuparan este puesto.
