Aos cinco anos de idade, Jimmy McGriff começou a tocar piano e na adolescência fez o mesmo com sax alto, bateria e contrabaixo. No primeiro grupo que integrou entrou como baixista num trio de piano. Depois prestou Serviço Militar no Exército e serviu como soldado durante a Guerra da Coreia no início da década de 1950, depois tornou-se oficial de polícia na Filadélfia por dois anos.
Mas felizmente a música não o deixou para trabalhar no combate à criminalidade. Ao sair da polícia uniu-se ao amigo de infância, Jimmy Smith, grande expoente na arte de tocar órgão Hammond. Smith já tinha ganhado fama no mundo do Jazz ao gravar discos para a Blue Note Records. Aliás em 1967 ambos gravaram um disco juntos.
Ao ouvir o som do Hammond, McGriff se apaixonou como acontece quando um homem encontrar uma mulher linda diante dos seus olhos. Para fechar o círculo, Richard Holmes foi tocar no casamento de sua irmã e ele acabou professor e amigo de McGriff, com os dois gravando dois discos na década de 1970.
Como ocorre com os grandes gênios da música, McGriff comprou seu primeiro órgão Hammond em 1956, passou seis meses aprendendo e depois entrou na Juilliard School de Nova York. Para aprimorar a técnica teve aulas particulares com Milt Buckner, Jimmy Smith e Sony Gatewood. Recebeu forte influência do organista Buckner e a sensibilidade de Count Basie (tocava teclados com dois dedos) e de outras feras como Howard Whaley e Austin Mitchell.
Na década de 1960 gravou seus primeiros discos na Filadèlfia na companhia do saxofonista Charles Earland. Em seguida passou a acompanhar artistas como Don Gardner, Arthur Prysock, Carmne McRae (anos mais tarde ela seria responsável por regravar "Flor de Lis" em inglês, solidificando a carreira de Djavan no Exterior). Em 1961 o trio liderado por McGriff gravou a versão instrumental do hit "I Got a Woman" de Ray Charles para a Joe Lederman Jell Records, pequeno selo independente. No ano seguinte repetiu a dose com "All About My Girl" e abriu definitivamente as portas do Gospel e Soul.
Na década de 1960 gravou diversos álbuns, alguns deles entraram para a galeria de inesquecíveis discos de Jazz/Blues.Quando o produtor Sonny Lester criou sua gravadora Solid State em 1966, tratou de contratar McGriff. Ali ele lançou vários álbuns com diversos estilos, abrindo a porta para McGriff fazer vários tipos de experiências musicais. Acabou ganhando fãs como Count Basie e de inúmeras big bands de Blues. Nessa época estourou com canções como " The Way You Loog Tonight" e clássicos Funk como "The Worn" e "Step 1".
Foi a época em que McGriff tocou em diversos locais de todo o mundo. O ponto de partida foi Newark (cidade metropolitana de Nova Jersey por revelar na década de 1960 a banda de Funk Kool and The Gang). Abriu sua própria casa de shows, a Golden Slipper, e ali gravou o memorável disco Black Pearl e o álbum ao vivo Love Ain´t Nothin´But a Business Goin´On. Em 1972, McGriff saiu do show biz e começou a criar cavalos em sua fazenda em Connecticut. Porém, a nova gravadora de Sonny Lester, a Groove Merchant, continuou produzindo cópias de seus discos.
A década de 1980 marcou o rompimento dele com Lester, para continuar o trabalho com o produtor Bob Porter e o engenheiro de som Rudy Van Gelder. Foi a era do grande relacionamento com a Fantasy Records. Seis depois começou parceria com o saxofonista Hank Crawford, rendendo o prêmio Soul Survivors. No início dos anos de 1990 caiu no gosto popular e atrações em cruzeiros marítimos.
Entre 1994 e 1998, McGriff experimentou o Hammond XB-3, um sintetizador que aumentou a capacidade do órgão com melhorias Midi. Ele ganhou um som de sintetizador natural. Ele acabou sendo um dos primeiros organistas de B3 a adicionar o Midi para teclado superior do Hammond. Também incorporou sintetizadores em suas performances ao vivo, com vibrafone, piano, cordas, metais e outros sons que só poderia ser criados por um sintetizador e B3.
Nesse período, ao lado da banda Dream Team, com o saxofonista David "Fathead" Newman e o baterista Bernard Purdie gravou o álbum Straight Up (1998), House Party (2000), Feelin ´It (2001) e McGriff Avenue (2002). Em março de 2008 fez seu último concerto em Nova Jersey. Dois meses depois morreria.