Shawn Carter wurde von einer alleinerziehenden Mutter aufgezogen und von den rauen Sitten der New Yorker Straße geprägt. Sein Künstlername war ursprünglich "Jazzy", bis er merkte, dass es bereits zu viele Künstler mit diesem Namen gab. Nach mehreren erfolglosen Versuchen eine Karriere als Künstler zu beginnen (mit Jaz-O, und als Mitglied einer Gruppe namens Original Flavor) gründete Jay-Z schließlich mit Damon Dash die Plattenfirma Roc-a-Fella Records, über die er auch sein Debütalbum Reasonable Doubt veröffentlichte. Dieses fand zwar einigen Anklang in der Szene, brachte jedoch keinen kommerziellen Erfolg.

1997 schaffte es das Nachfolgealbum In My Lifetime, Vol. 1 bis auf Platz 3 der US-Charts und legte den Grundstein für seinen finanziellen Erfolg bei einem breiteren Publikum. Ein Jahr später veröffentlichte Jay-Z das Album Vol. 2: Hard Knock Life und verlagerte damit seinen Fokus von der kleinen Rap-Szene auf ein größeres Mainstream-Publikum. Aus dem Album wurden die bekannten Lieder Can I Get A..., Hard Knock Life (Ghetto Anthem), Jigga What?, Jigga Who?, It's Alright und Money Ain't a Thang ausgekoppelt.

Das Album Dynasty Roc La Familia war mit zahlreichen Gastauftritten anderer erfolgreicher Rap-Musiker wie Beanie Sigel, Memphis Bleek und Amil gespickt, hinzu kamen Scarface, Just Blaze, R. Kelly, Kanye West, The Neptunes und Snoop Dogg. 2003 ging Jay-Z mit anderen Rap-Größen wie 50 Cent, Busta Rhymes und Sean Paul auf Tour, während er an seinem Album The Black Album arbeitete.

Jay-Z ist seit 2002 mit der R&B-Sängerin Beyoncé Knowles liiert. Im April 2008 haben sie geheiratet.

Neben musikalischen Aktivitäten versuchte sich Carter mit dem Designerlabel Roc-a-Wear auch in der Modeindustrie. Außerdem brachte er zusammen mit der Sportfirma Reebok eine Schuhkollektion mit dem Namen S. Carter bzw. Shawn Carter heraus. Weiterhin ist er Mitbesitzer der NBA-Basketballmannschaft New Jersey Nets.

Im Dezember 2004 wurde er zum neuen Präsidenten und CEO des Hip-Hop-Labels Def Jam ernannt, nachdem dieses Roc-a-Fella Records vollständig übernommen hatte. Jay-Zs Vertrag mit Def Jam lief Ende 2007 aus und wurde nicht verlängert.

2006 versöhnte er sich nach mehrjährigem Streit mit Nas, dieser ist auch auf seinem Album American Gangster zu hören.

Im August 2007 wurde bekannt, dass er der Topverdiener im Bereich Hip-Hop sein soll. Sein Jahresgehalt wird laut Forbes Magazine auf 36 Millionen US-Dollar geschätzt.