В 1956 году окончил Днепропетровский горный техникум. Его первые публичные выступления состоялись на сцене этого учебного заведения. С 1956 по 1959 годы, во время службы в армии, был приглашен в ансамбль песни и пляски Закавказского военного округа.
С 1958 года Кобзон работал в Цирке на Цветном бульваре в программе Марка Местечкина «Куба — любовь моя», где исполнял одноименную песню А. Пахмутовой. В 1959—1962 годах — солист Всесоюзного радио. В 1963 году окончил Государственный музыкально-педагогический институт им. Гнесиных по классу вокала. В 1962—1965 годах — солист-вокалист Росконцерта, в 1965—1989 годах — солист-вокалист Москонцерта.
В советские времена исполнял лирические и патриотические песни. В 1964 году к нему пришла всесоюзная популярность после появления в эфире песни Аркадия Островского «А у нас во дворе».
Иосиф Кобзон умер 30 августа 2018 года. Более 10 лет он боролся с онкологическим заболеванием.