Après avoir quitté Tulsa avec quelques autres jeunes musiciens, il part à Los Angeles fin 1964 pour y travailler comme ingénieur du son tout en se produisant dans des bars et des clubs. En mars 1965 il parvient même à se produire régulièrement à un club qui fait de plus en plus parler de lui, le Whisky a Go Go. En 1966 il enregistre un single démo pour Liberty Records, " After Midnight ". Il en distribue à ses copains musiciens de Tulsa vivant à L.A., pas mal d’entre eux ayant trouvé du boulot comme musiciens de studio. Mais le succès n’est pas au rendez-vous et, ne se faisant pas assez d’argent comme ingénieur du son, il vend sa guitare et rentre à Tulsa fin 67, où il rejoint un groupe avec Don White, un autre musicien de Tulsa.
En 1970 il apprend qu’Eric Clapton a repris " After Midnight " sur son premier album. Il comprend que c’est le moment de tirer avantage de la publicité faite autour de cette reprise et décide d’enregistrer lui-même un premier album. Ce sera “Naturally”, sorti en décembre 1971.
D’emblée, il installe son style hybride unique fait d’un mélange de blues, de folk et de jazz avec des grooves cool. Le jeu de guitare fluide de JJ Cale et ses vocaux personnels font le reste. Tant l’utilisation peu courante à l’époque de drum machines et ses mixes inhabituels lui confèrent un son très personnel et une qualité hors de l’ordinaire, qui le distinguent de la majorité des puristes de l’Americana roots music.
Dans sa biographie “Shakey”, sortie en 2003, Neil Young fit la déclaration suivante : "Of all the players I ever heard, it’s gotta be [Jimi] Hendrix and J. J. Cale who are the best electric guitar players." Tandis que dans le documentaire de 2005, '' To Tulsa and Back : On Tour with J.J. Cale '', le jeu de guitare de Cale est défini par Eric Clapton comme "really, really minimal" ajoutant à cela "it’s all about finesse". Neil Young et Eric Clapton ne se trompent évidemment pas !
Son plus gros hit aux Etats-Unis, " Crazy Mama ", qui atteignit le #22 du U.S. Billboard Hot 100 chart en 1972, il refusa d’en faire la promotion dans l’émission " American Bandstand " de Dick Clark, ce qui aurait valu au morceau d’encore monter dans le hit-parade. La raison en est simple : il ne pouvait pas prendre son band avec lui et aurait dû faire du lip-sync, impensable pour lui !
En 1980, JJ Cale part s’installer en Californie et vit en reclus dans un trailer sans téléphone. Son album de 1983, “#8 ” ne se vend pas bien et il demande à être libéré de son contrat avec Polygram. Quand on lui demande plus tard comment il a passé les années 80, il répond : " J’ai tondu ma pelouse et écouté Van Halen et du rap ".
Cale a souvent travaillé seul, en étant son propre musicien de session, producteur et ingénieur du son. Ses vocaux sont plus souvent susurrés que chantés, parfois même sous-mixés. Son son unique, il l’attribue au fait d’être son propre mixeur et producteur, affirmant que : "Because of all the technology now you can make music yourself and a lot of people are doing that now. I started out doing that a long time ago and I found when I did that I came up with a unique sound." Comme quoi, on n’est jamais aussi bien servi que par soi-même.
JJ Cale est décédé à l’âge de 74 ans à San Diego, Californie, le 26 juillet 2013, après avoir eu une crise cardiaque, laissant derrière lui sa femme, Christine Lakeland, épousée en 1995.
En avril 2019 sort un album à titre posthume, “Stay Around”, précédé du single " Chasing You” sorti, lui, le 31 janvier.
