За свою 50-летнюю карьеру он работал с европейскими джазовыми музыкантами, в том числе с Чарли Антолини (Charly Antolini), Генри Кейксом (Henri Chaix) и Dutch Swing College Band, а так же участвовал в записях приезжающих на гастроли таких знаменитых музыкантов как Лайонэл Хэмптон (Lionel Hampton), Рой Элдридж (Roy Eldridge) и Бобби Хакетт (Bobby Hackett).

            Кляйн родился в Граце, на юго-востоке Австрии, в еврейской семье. Незадолго до начала второй мировой войны, когда ему было восемь лет, нацистская Германия аннексировала Австрию, и семье Оскара Кляйна пришлось бежать из страны в Швейцарию. В Швейцарии Кляйн изучил французский, итальянский и немецкий языки. Всего он знал семь языков.

            Он взял в руки гитару и банджо в начале 1940-го года. Его талант нельзя было не заметить. Уже тогда и на протяжении последних лет войны он играл джаз с другими швейцарцами-любителями джаза.

            Кляйн так же был и художником-графиком и в 18 лет стал преподавателем искусства, перебравшись во Флоренцию в 1947-м году. Тогда же он научился играть на трубе, и выступал иногда играя и на трубе и на гитаре, хотя он умел играть тогда еще на ряде других инструментов.

            Его первые записи в качестве трубача были сделаны в Кельне, с группой которую возглавлял “Fatty George” (Franz Georg Pressler). В группу его пригласил  знаменитый пианист Джо Завинул (Joe Zawinul). Когда Лайонел Хэмптон в 1956-м году посетил Вену, Кляйн записался с ним. В конце 50-х годов Кляйн возглавлял щвейцарский джаз-бенд "Swiss band", который еще называли "Tremble Kids", но в 1959-м он переехал в Нидерланды и стал там членом голландской группы "Swing College Band" на четыре года, играя главным образом на трубе. С другим гитаристом этого бенда, Арье Линхартом (Arie Ligthart), записывал дуэты. В то время он уже играл стакими великими музыкантами как "Уайлд" Билл Дэвисон (Wild Bill Davison), Билл Коулмен (Bill Coleman), Дэкстер Гордон (Dexter Gordon) и другими.

            Желая больше времени проводить дома и устав от непрерывных турне с DSC (Dutch Swing College Band), Кляйн вернулся в Австрию, где сформировал собственную группу, в которой на фортепиано играла его жена Марьям Кляйн (Miriam Klein), а сам он играл на гитаре. В 1960-70 г.г. он сделал много записей как трубач, сотрудничая с такими европейскими музыкантами, как пианист Фриц Триппель (Fritz "Little Fritz" Trippel), с саксофонистом Эмилем Мангельсдорфом (Emil Mangelsdorff), братом знаменитого тромбониста и авангардиста Альберта Мангельсдорфа (Albert Mangelsdorff) и пианистом Генри Кейксом (Henri Chaix). Кляйн так же записал блюзовый альбом "Picking the Blues", на котором помимо блюза исполнял и кантри, играл на губной гармонике и гитаре. В 1980 он выступал с знаменитым блюзменом "Филадельфия" Джерри Риксом ("Philadelphia" Jerry Ricks).Затем они выступали дуетом на многих евтопейских фестивалях.

            В 1980-х и 90-х Кляйн вернулся к традиционному джазу и выступал со многими своими старыми друзьями-музыкантами, которые разделяли его любовь к традиционному джазу. Выступая в Швейцарии, Германии и Австрии у него каждый раз менялась ритм-секция, в зависимости от того играл ли он на трубе или гитаре.

            И хотя Кляйн так и не научился читать ноты, его музыкальный инстинкт, его слух сделали его боевым партнером во всех сферах джаза. Кляйн сотрудничал и с современной органисткой Барбарой Деннерляйн (Barbara Dennerlein), с которой он сделал два альбома. Кляйн играл и с Роейм Элдриджем (Eldridge) и Хакеттом (Hackett), с которыми он записал альбом-посвящение Луи Армстронгу (Louis Armstrong) на фестивале в Сан Ремо (San Remo Festival).

            В январе 2007 года Кляйн хотел отпраздновать свой 77-й день рождения концертом в Инсбруке, в своей родной Австрии. Но этим планам не суждено было сбыться. Оскар Кляйн скончался 12 декабря 2006-года. На момент смерти Клян жил со своей женой на юго-западном районе Германии Баден-Вюртемберге. Оскар Кляйн не был болен, как заявила прессе сестра музыканта, его смерть стала для всех печальной неожиданностью.