Początki grupy sięgają roku 1984, kiedy Australijczycy Nick Cave i Mick Harvey po rozpadzie The Birthday Party zdecydowali się założyć nowy zespół. Dołączyli do nich gitarzysta Blixa Bargeld z Einstürzende Neubauten, drugi gitarzysta Hugo Race oraz znany z formacji Magazine basista Barry Adamson.