Durante los años sesenta, Duffy fue uno de los fotógrafos más célebres de Londres, junto con David Bailey y Terence Donovan. Se dedicó a la moda, el retrato y la publicidad, pero es recordado por sus colaboraciones con Bowie, John Lennon, Sammy Davis Jr., Harold Wilson, Tom Courtenay, William S. Burroughs y Nina Simone.