27 Aralık 1907’de Istanbul’da doğan Asaf Halet, Dahiliye Nezareti Şifre Kalemi Müdürü Mehmet Sait Halet Bey’in oğluydu. Galatasaray Lisesi’nden mezun olduktan sonra babasından Fransızca ve Farsça, Mevlevi Şeyhi Ahmet Remzi Dede (Akyürek) ile Rauf Yekta Bey’den musiki ve nota dersleri aldı.