Goodman fue hijo de emigrantes judíos procedentes de Polonia, vivió en el barrio Maxwell Street. Comenzó a tocar el clarinete a los 10 años de edad y pronto se unió a una banda local; su debut profesional fue a los 12 y dos años más tarde abandonó la escuela