Posteriormente cursa el bachillerato en los Salesianos. El día en que aprobó cuarto y reválida su padre quiso recompensar a Joaquín con un reloj de pulsera, a lo que él se negó manifestando que prefería una guitarra, siendo satisfecha dicha petición. En cambio, su hermano mayor sí que aceptó el reloj y, según Joaquín, ese pequeño detalle sería el que los empezaría a distanciar: su hermano se acabaría convirtiendo, como el padre de ambos, en policía y él en cantante. En 1968 se traslada a Granada para matricularse en la Facultad de Filosofía y Letras e iniciar los estudios de Filología Románica en la Universidad.
Su ideología izquierdista le lleva a relacionarse con movimientos contrarios al régimen franquista. Este mismo año, cuando se proclamó el estado de excepción, su padre, que era comisario en Úbeda, recibe la orden de detenerle por pertenecer al Partido Comunista. En 1970 comienza a colaborar con la revista Poesía 70, compartiendo páginas con Luis Eduardo Aute o Carlos Cano. En ese mismo año lanza un cóctel molotov contra una sucursal del Banco de Bilbao en Granada en protesta por el Proceso de Burgos, por lo que se ve obligado a exiliarse. Al carecer de pasaporte, no puede salir inmediatamente del país, pero conoce a un hombre, Mariano Zugasti, que, tras unas horas de conversación, le cede el suyo. Con nombre falso y acompañado de Lesley (su pareja en ese momento), Joaquín pone rumbo a París, donde pasa unos meses, y posteriormente a Londres, donde vive como okupa durante su primer año de estancia en la ciudad.
Joaquín necesita sensibilizar a la opinión pública a su favor, ya que de otro modo sería repatriado a España, y gracias a Lesley consigue que le hagan una entrevista y presente su caso. El Daily Mirror publica que a su vuelta a España le espera la pena de muerte, hecho totalmente falso, pero consigue que las autoridades británicas le concedan el asilo político por un año. Se marcha a Edimburgo con Lesley a vivir. Permanecen allí cuatro meses, tras los cuales Joaquín se marcha a Londres abandonando a Lesley.
Colabora en Londres con el Club Antonio Machado, uno de los centros frecuentados por emigrantes y exiliados. En la capital inglesa escribe sus primeras canciones y organiza un cineclub donde se exhiben películas de Luis Buñuel, prohibido entonces en la España franquista. Reconstruye el grupo de teatro Juan Panadero y monta polémicas obras teatrales como La excepción de la regla, de Bertolt Brecht, y El cepillo de dientes, de Jorge Díaz. Se gana la vida cantando en el metro, restaurantes y cafés. En 1974, según una de las anécdotas más divulgadas sobre su vida, actuó ante George Harrison, quien celebraba su cumpleaños en un bar local llamado Mexicano-Taverna. El ex-beatle le dio una propina de cinco libras. En algunas entrevistas, Sabina ha relatado que conserva el billete que recibió como un tesoro, pero en otras ocasiones ha desmentido su propia leyenda («En realidad, me los bebí aquella misma noche»). Durante ese tiempo mantiene una relación con una chica llamada Sonia.
En 1976 publica el libreto de canciones Memorias del exilio y comienza a organizar conciertos para la colonia de exiliados españoles en Inglaterra, donde actúan Paco Ibáñez, Lluís Llach, Francesc Pi de la Serra o Elisa Serna. Estos versos constituirían el grueso principal dos años más tarde de su primer disco, Inventario. Más tarde compone la banda sonora de la serie The Last Crusade, de la BBC. En el año 1977, tras la muerte de Franco, consigue volver a España gracias a un pasaporte legal facilitado por Fernando Morán, cónsul español en Londres. En ese mismo año se casa con Lucía Inés Correa Martínez, una argentina que había conocido en Londres durante su exilio. La ceremonia de enlace, eclesiástica, tuvo lugar el 18 de febrero de 1977. En realidad el enlace se celebra con el único propósito de conseguir el «pase de pernocta» (permiso que se da a los soldados para que puedan ir a dormir a sus casas) en el cuartel durante el servicio militar que se había visto obligado a cumplir en Mallorca tras regresar a España. Esto le permite trabajar en el diario local Última hora.
En 1978 se instala en Madrid con su mujer y consigue editar su primer LP, Inventario. El director de la discográfica CBS, Tomás Muñoz, le había ofrecido su primer contrato con la referencia de su tema «¡Qué demasiao!», que por aquel entonces, interpretada por el cantante «Pulgarcito», sonaba en Popgrama, espacio de Televisión Española presentado por Carlos Tena. De esa forma comenzó a actuar en el circuito de bares madrileños y en los mítines electorales del PSP, UGT, PCE y PSOE, así como en actos de la CNT. En esa época trabajó como entrevistador de Carta de España. Al año siguiente comienza a cantar junto a Javier Krahe y Alberto Pérez en el sótano del café madrileño La mandrágora. Uno de los temas que interpretan es «Con su bikini», versión paródica del tema de Bob Dylan «Man Gave Names To All The Animals» que, según parece, el propio autor le prohibió tocar. Al local acude un día el periodista Fernando García Tola, que los invita a su programa de televisión Esta noche, presentado por Carmen Maura.
En 1980 publica su segundo trabajo, Malas compañías, álbum en el que destacan varios temas que se convertirán en clásicos, como «Calle Melancolía» o «¡Qué demasiao!», pero muy especialmente «Pongamos que hablo de Madrid», convertido para muchos en una especie de himno oficioso de la ciudad. En 1981 aparece La mandrágora, disco grabado en directo junto con Krahe y Pérez en el que intentan recoger el espíritu de sus actuaciones en el local. Alterna sus conciertos en pubs con la traducción de éxitos de la canción italiana para la discográfica CBS y empieza a componer para otros artistas como Miguel Ríos y Ana Belén. Comienza a actuar con la que sería su primera banda, Ramillete de virtudes y le añade a su viejo repertorio nuevas composiciones cada vez más orientadas hacia el rock y con más ritmo como «Pisa el acelerador» y «Juana la Loca», canciones que, poco después, formarían parte del que sería su tercer elepé (sin contar el disco grabado en La mandrágora), Ruleta rusa, publicado en 1983. En 1984, escribe para Diario 16 un artículo de bienvenida a Bob Dylan y ese mismo año graba con Gloria van Aerssen, de Vainica Doble, «Con las manos en la masa», la sintonía del programa de cocina homónimo de Elena Santonja en RTVE. Durante la temporada 1983-1984 actúa además asiduamente en el programa de TVE Si yo fuera presidente, de Fernando García Tola.
Poco después Sabina y Krahe decidieron separarse artísticamente para evitar repetirse. En 1985 comienza a trabajar con Viceversa, banda con la que en 1985 saca el álbum Juez y parte y, un año después, el disco en directo Joaquín Sabina y Viceversa en directo. El álbum es un éxito de ventas y supone su salto al gran público. Participó en las fiestas a favor de un referéndum para la salida de España de la OTAN. Además, estrena Si te he visto no me acuerdo, una canción que glosaba los tres años de gobierno socialista de Felipe González y en las elecciones municipales apoya a su amigo Juan Barranco, candidato a la Alcaldía de la capital. Además, en marzo de ese mismo año publica De lo cantado y sus márgenes, un conjunto de textos que reúne gran parte de los textos que formaron parte de Memorias del exilio y de las canciones de Inventario. Los éxitos comienzan a sucederse con la publicación de sus siguientes elepés. En 1987 consolida su éxito con la venta de más de 400.000 copias de Hotel, dulce hotel. Deja de actuar con el grupo Viceversa y se asocia con Víctor Claudín y Pedro Sauquillo para dirigir la sala de conciertos Elígeme, en el barrio de Malasaña de Madrid. En 1988 edita El hombre del traje gris. Tiempo más tarde consigue el divorcio de Lucía, su mujer.
En 1989 funda junto a Pancho Varona, convertido en su inseparable guitarrista, Ripio, empresa editorial con la que a partir de ese momento registrará todas sus canciones. En este mismo año, el 16 de enero, Joaquín es padre por primera vez, teniendo una hija, Carmela Juliana, fruto de su relación con Isabel Oliart.
Los discos y las giras se suceden en el comienzo de los noventa, con la publicación de Mentiras piadosas (1990), Física y Química (1992), del cual se venden más de un millón de copias, y Esta boca es mía (1994).
El 26 de julio de 1992 nace su segunda hija con Isabel Oliart, Rocío, y comienza una relación sentimental con la modelo mallorquina Cristina Zubillaga. En 1994 participa, junto a otros artistas, en los actos de protesta por el cierre del madrileño teatro Alfil. En las elecciones legislativas de junio, deja clara su postura política apoyando a Izquierda Unida. En 1996 publica Yo, mi, me, contigo.
En 1997, año en que es recibido por Fidel Castro, con quien conversa durante cinco horas, se embarca en un proyecto con el músico argentino Fito Páez, que admira las cualidades poéticas de Sabina. El resultado es el disco Enemigos íntimos, que sale a la venta en España en 1998, aunque la gira promocional programada es suspendida por desavenencias entre los dos músicos. En esa oportunidad se cancelan más de 70 conciertos que tenían vendidos y promocionados alrededor del mundo. El escándalo es mayor cuando se conoce una carta que el mismo Joaquín Sabina le había escrito a Fito Páez en forma de poesía, donde resumía los motivos que determinaron el final de su relación laboral: «El rol del patito feo, no me va te lo aseguro, y menos el de hombre duro, que a ti te cuesta tan poco» recitaba Joaquín en la mencionada carta. Joaquín hace una gira en solitario por teatros llamada Sabina, viuda e hijos en paños menores, de importante éxito y que destaca por la gran duración de los recitales, que llegan a las tres horas. En este tour se acompaña sólo de tres músicos: Pancho Varona (guitarra), Antonio García de Diego (guitarra y teclados) y Olga Román (coros, percusiones y guitarra). Tras romper con Cristina Zubillaga, comienza a salir con una porteña de 23 años, Paula Seminara, relación que duró un año y medio. En 1999 publica 19 días y 500 noches, disco que vende más de 500.000 copias en España y que le hace ganar cuatro de los Premios de la Música de la Sociedad General de Autores de España (SGAE) del año 2000, además del Premio Ondas a la mejor canción.
En 2000 comienza la gira acústica Nos sobran los motivos, una revisión mejorada de En paños menores. En septiembre termina la gira eléctrica de 19 días y 500 noches. El 6 de noviembre de ese mismo año recibe el Premio Ondas a la Mejor Canción por «19 días y 500 noches. La madrugada del 24 de agosto de 2001, tras la publicación ese mismo año del álbum Nos sobran los motivos, doble disco en directo, recopilatorio de la gira del mismo nombre, sufre un leve infarto cerebral que pondrá su vida en peligro. Aunque pocas semanas más tarde se recupera sin sufrir secuelas físicas, el incidente influye en su forma de pensar y se ve inmerso en una importante depresión. Todo esto hace recapacitar a Sabina sobre su modo de vida y su relación con las drogas por lo que decide dejar de consumir cocaína y afirmaría que «por las drogas sólo siento nostalgia». Sin embargo, en la entrevista durante el documental Joaquín Sabina - 19 días y 500 noches él mismo indica que había dejado de consumir cocaína cuatro meses antes de su accidente cerebro-vascular. Durante ese tiempo también logra dejar de fumar durante 8 meses y llega a confesar que «fueron los ocho meses más largos de mi vida». Decidido a relanzar a su amiga María Jiménez, le cede sus temas para que lance el disco Donde más duele (canta por Sabina), cantando con ella el tema «Con dos camas vacías».
Después, Dímelo en la calle (2002), al que seguiría su decimoctavo álbum, Alivio de luto (2005). El 17 de noviembre de 2009 publica Vinagre y rosas, su último álbum por el momento, del que ha vendido 200.000 copias en tan sólo un mes de su lanzamiento consiguiendo tres discos de platino.
