Die Schulfreunde Ozzy Osborne, Bill Ward, Geezer Butler und Tony Lommi traten schon seit 1968 in Birmingham auf. Später wurde die Gruppe dann wegen Problemen der Bandmitglieder in Earth umbenannt, unter dem Namen traten sie unter anderem mit Ten Years After und John Mayall auf.
1968 musste sich die Gruppe dann umbenennen, weil schon eine Gruppe mit dem Namen existierte. Inspiriert durch einen Horrorfilm nannten sie sich daraufhin Black Sabbath. Da dieses Genre in dieser Zeit besonders beliebt bei dem englischen Kinopublikum war, entschied sich die Gruppe, auch Musik zum Fürchten zu machen.
In nur zwölf Stunden nahmen sie ihr erstes Album auf, das den gleichen Namen wie die Gruppe trug. Mit hartem aggressivem Gitarrenrock und Horroreffekten wurde das Album 1970 veröffentlicht und erreichte auf Anhieb die Top 10 der englischen Charts. Dagegen gilt das zweite Album „Paranoid“ als ein Meilenstein in der Geschichte des Rocks. Dieses Album hat viele Rockmusiker geprägt und der Titelsong hielt sich wochenlang weltweit in den Charts.
Die Plattenfirma weigerte sich, den ursprünglichen Namen „War Pigs“ zu verwenden. Sie benutzten einfach den Namen des letzten Lieds, das es auf das Album schaffte und erst am Ende der Aufnahmen in zehn Minuten geschrieben und aufgenommen wurde. Ironischerweise wurde dieses Lied zu dem größten Erfolg von Black Sabbath.
In den folgenden Jahren wurden die Alben „Master of Reality“ und „Sabbath Bloody Sabbath“ aufgenommen, die auch sehr erfolgreich wurden. Sie verfolgten auch weiterhin den Ansatz von „Paranoid“, wurden aber immer mehr mit anderen Instrumenten angereichert. Es kam zu immer mehr Reibungen zwischen den Musikern und der Plattenfirma. Als Protest der Band wurde das Studioalbum „Sabotage“ genannt.
Ozzy Osbourne kämpfte in den folgenden Jahren immer mehr mit seinen Alkoholproblemen. Er musste die Band 1977 verlassen, kam aber nach drei Monaten wieder zurück, um die Platte „Never Say Die“ aufzunehmen. Auf dieser kann man den Kampf Ozzys mit dem Alkohol deutlich erkennen. Es wurde so schlimm, dass er das letze Lied auf der Platte nicht mehr aufnehmen konnte. 1979 versuchte die Band dann in Los Angeles vergeblich, mit Ozzy ein neues Album aufzunehmen. Die Band musste Ozzy entlassen und Bill Ward sprang als Sänger ein.
Die Band wechselte die Sänger und mehrere Mitglieder in den folgenden Jahren öfters aus und konnte auch gute Erfolge erzielen, aber erst auf dem Ozzfest 1997 vereinigte sich die Originalbesetzung wieder. Sie spielten in den folgenden Jahren einige neue Alben ein, bis sie sich nach dem letzten Konzert 2017 trennten.
