Bu talimat doğrultusunda yapılan çalışmalar sonucunda 13.10.1975 gün ve 15382 sayılı Resmi Gazetede yayımlanarak yürürlüğe giren “İstanbul Türk Musikisi Devlet Konservatuarı Kuruluş Yönetmeliği” ile konservatuar kurulmuş ve 3 Mart 1976’da eğitime başlamıştır. Milli Eğitim Bakanlığı’nın 02.09.1975 gün ve 21097 sayılı yazısında konservatuar yönetim kurulunun, Ercümend Berker başkanlığında Muharrem Ergin, Cahit Atasoy, Neriman Tüfekçi, Yücel Paşmakçı, Cüneyd Orhon, Yılmaz Öztuna, İsmail Baha Sürelsan ve Alâeddin Yavaşça’dan oluştuğu bildirilmiştir.

1978 yılında siyasi iktidarın değişmesi sonucunda Konservatuar, her iki bakanlık arasında düzenlenen protokolle Milli Eğitim Bakanlığı’ndan Kültür Bakanlığı’na devredilmiştir. Bu devirden sonra dönemin Kültür Bakanı Doç. Ahmet Taner Kışlalı ve Müsteşar Şerafettin Turan tarafından Konservatuvarı kapatmaya yönelik işlemlerin başlaması ile hiçbir sebep gösterilmeden 22 öğretim elemanı, 3 yönetim kurulu üyesi ve yönetim kurulu başkanı görevden alınmış; bu durum 22 Şubat 1979 akşamı radyo ve televizyon haber bültenlerinden duyurulmuştur. Bunun üzerine 23 Şubat 1979 günü yönetim kurulunun tüm üyeleri istifa etmiş ve başkan Ercümend Berker de aynı gün görevden ayrıldığını bakanlığa bildirmiştir.

Bu dönemde, yönetim kurulu başkanlığına vekâleten Nevzat Atlığ getirilmiş ve geçici bir yönetim kurulu oluşturulmuştur. Kurulan geçici yönetim kurulunda Halil Aksoy, Fikret Değerli, Bekir Sıtkı Sezgin, Yavuz Özüstün, Yalçın Tura, Mutlu Torun, Necdet Varol ve Niyazi Sayın görev yapmışlardır.
1978 yılı sonlarında siyasi iktidarın yeniden değişmesi ve koalisyon hükümetinin işbaşına gelmesi üzerine zamanın Kültür Bakanı, 30 Kasım 1979 gün ve 177 sayılı yazısıyla Konservatuar yönetim kurulu başkanlığına Ercümend Berker’i yeniden atamış ve 175 sayılı yazısıyla yeni yönetim kurulunun teşkili ile görevlendirmiştir. Bu talimat çerçevesinde yönetim kurulu Ercüment Berker, Halil Aksoy, Nida Tüfekçi. Muharrem Ergin, Fikret Değerli, Alaaddin Yavaşça, Cüneyd Orhon, Cahit Atasoy, Neriman Tüfekçi, Yalçın Tura’dan oluşmuştur.

1982’de devlet konservatuarlarının Yüksek Öğretim Kurumu (YÖK) kapsamına alınıp üniversitelere bağlanması sırasında Türk Musikisi Devlet Konservatuarı, Prof. Ercüment Berker’in çalışmaları ile İstanbul Teknik Üniversitesi’ne bağlanmıştır. Bu yıldan itibaren sırasıyla Prof. Lütfi Zeren, Prof. Fikret Değerli, Prof. Yalçın Tura, Prof. Dr. Can Etili Ökten, Prof. Dr. Lale Berköz ve Prof. Dr. Cihat Aşkın İTÜ Türk Musikisi Devlet Konservatuarında müdürlük görevi yapmıştır. 2012–2013 Eğitim-Öğretim yılı başında İTÜ TMDK Müdürü olarak atanan Prof. Adnan Koç 38 yıllık köklü geçmişe yeni başarılar eklemek üzere çalışmalara başlamıştır.

Kurulduğu yılda Çalgı Eğitimi, Ses Eğitimi ve Temel Bilimler olmak üzere 3 bölüm ile eğitim-öğretime başlayan İTÜ TMDK, daha sonraki yıllarda kurulan ilave bölüm ve birimleriyle daha da büyümüştür. Konservatuvar yönetim kurullarının aldığı kararlar neticesinde Enstruman Yapım Bölümü San. Öğr Gör. Cafer Açın, Türk Halk Oyunları Bölümü Prof. Fikret Değerli, Kompozisyon Bölümü Prof. Selahattin İçli ve Müzikoloji Bölümü Prof. Yalçın Tura gibi duayen hocaların başkanlıklarında eğitime başladı ve zamanla büyüyerek köklendi. Günümüzde Anasanat ve Anabilim Dalları kapsamında 7 bölüm ile hizmet vermektedir. Çalgı Bölümü Ses Eğitimi Bölümü, Türk halk Oyunları Bölümü ve Kompozisyon Bölümü Anasanat Dalı, Müzikoloji Bölümü, Müzik Teknolojileri Bölümü ve Müzik Teorsi Bölümü ise Anabilim Dalları programları ile eğitim-öğretimi sürdürülmektedir.

1986 yılında İTÜ Sosyal Bilimler Enstitüsü’ne bağlı olarak başlayan Türk Sanat Müziği ve Türk Halk Müziği Yüksek Lisans Programlarına 1988 yılında aynı enstitüye bağlı sanatta yeterlik programlarının eklenmesi, Türk Musikisi Devlet Konservatuarı’nın akademik kadronun yetiştirilmesine olanak sağlamıştır. Bugün birçok kurumda yardımcı doçent, doçent ve profesör olarak görev yapan akademisyenler bu programlardan yetişmiştir.

2001-2004 döneminde İTÜ akademik standartları ve yapılanmaları çerçevesinde dönemin rektörü Prof. Dr. Gülsün Sağlamer’in talimatı ve destekleriyle başlatılan çalışmalarda bir yıl gibi kısa bir süre zarfında konservatuvarın üniversiteye tam entegrasyonu bağlamında önemli bir süreç tamamlanmıştır. Bu süreçte başta konservatuvar müdürüresi Prof. Dr. Can Etili Ökten olmak üzere müdür yardımları San. Öğr. Gör. Cihangir Terzi, San. Öğr Gör. Leyla Küreli, konservatuvar genel sekreteri Esat Aladağ koordinasyonunda ve bölüm başkanlıkları nezdinde oldukça yoğun ve zorlu çalışmalar neticesinde eğitim planları kurgusu, kredi standartları, çıkış belgesi yerine İTÜ diplomasının verilmesi ve otomasyona geçiş bağlamında çok önemli uyum aşamaları gerçekleştirilmiştir. Dönemin getirmiş olduğu bazı zorunluluklar ve gerekliliklerden ötürü konservatuvar bünyesinde Temel Bilimler bünyesinde Müzik Teorisi Anabilim Dalı yapılandırılmıştır. Dünyada ve ülkemizde müzik sektöründe gelişen teknolojik yeniliklerden ötürü konservatuvar kurulundaki istişareler sonucunda Dr. Nail Yavuzoğlu’nun önerisi ve konservatuvar müdürünün talimatlarıyla Müzik Teknolojileri Bölümü kurulmuştur. Bu yapılanmayı takiben bölüm bünyesinde Ses Kayıtları ve Çalgı Yapım programları bir araya getirilmiştir. Çalgı Eğitim bölümünün adı ise YÖK listelerindeki bir belirsizlik nedeniyle mezunların bazı özlük haklarındaki mağduriyetleri bertaraf etmek amacıyla sadeleştirilerek Çalgı Bölümü’ne dönüştürülmüştür. Ayrıca müdürlükte kurulan bir çalışma komisyonu ile daha önceki adı konser sekreteryası olarak geçen ve günümüzde konservatuvarın vizyonunu en iyi şekilde yansıtan İTÜ TMDK Bilimsel ve Sanatsal Etkinlikler Kurulu “BİSED” yapılandırılarak yönetim kurulu kararıyla aktif hale getirilmiştir. Bu dönemde 0 İngilizce eğitime geçiş yapılarak İTÜ standartları ile tam bir entegrasyon sağlanmış olsa da yaşanan süreçte öğrenci ve öğretim elemanlarının yabancı dil temelli donanımından kaynaklı birtakım problemlerden ötürü 2006 itibariyle ingilizce hazırlık modelinden çıkılmıştır.

 2007-2008 döneminde konservatuvar müdürlüğüne Prof. Lale Berköz atanmış olup yaklaşık bir yıl kadar konservatuvara ekibiyle ( Doç. Bülent Kurtişoğlu, Öğr Gör. Ali Yayla ) beraber hizmet etmiştir.

        Daha sonraki süreçte konservatuvarda geliştirme, yapılanma ve uyum çabaları müteakip yönetimlerce devam ettirilmiştir. 2008-2009 döneminde müdürlük görevine atanan Prof. Dr. Cihat Aşkın, müdür yardımcıları Prof. Şehvar Beşiroğlu ve Doç Dr. Belma Kurtişoğlu yönetiminde lisans devresinde Bologna sürecine uyum çalışmaları 2009-2010 itibariyle bölümlerin programları bir dizi yenilenmeyi takiben hayata geçirilmiştir. İTÜ Sosyal Bilimler Enstitüsü bünyesinde Müzikoloji yüksek lisans programı, Müzik Teorisi ve Kompozisyon yüksek lisans programı hizmet vermeye başlamıştır. İstanbul Teknik Üniversitesi çatısı altında yurdumuzda ilk defa Müzikoloji ve Müzik Teorisi Doktora Programlarının ortaklaşa yürüttüğü doktora programıyla İTÜ’nün amaçlarına uygun olarak çağdaş, uluslararası düzeyde lisansüstü eğitim imkânı sağlanmıştır. Bu yıllarda özellikle müdürlük nezdinde Prof Şehvar Beşirolu’nun yoğun çabalarıyla konservatuvarın kuruluşundaki mihenk taşı olan Prof. Ercümend Berker’in adını taşıyacak olan konservatuarın günümüzde de önemli birimlerden “Prof. Ercüment Berker Kütüphanesi Arşiv ve Dökümantasyon Merkezi” kurulmuştur.

 2012-2013 dönemi itibariyle konservatuvar müdürlüğüne Prof. Adnan Koç ve müdür yardımcılıklarına Prof. Serpil Murtezaoğlu ve Prof. Cihangir Terzi atanmıştır. Bu yıllarda ele alınan ilk konu, fikri ve taslak aşamada kalmış olan lisans devresi Anasanat dallarından mezun öğrencilere dair yüksek lisans programlarının tamamlanması olmuştur. Eğitimden sorumlu müdür yardımcısı yürütücülüğünde kurulan yüksek lisans yapılandırma komisyonu çalışmaları neticesinde 2013 itibariyle İTÜ Sosyal Bilimler bünyesinde Performans Anasanat Dalı kurulmuş ve bu başlık altında Çalgı-Ses Tezli/Tezsiz Yüksek Lisans Programı ve Geleneksel Danslar Yüksek Tezli/Tezsiz Lisans Programları hayata geçirilmiştir.

Doksanlı yılların ortalarında Türkiye’de zorunlu eğitimin sekiz yıla çıkarılması kararının ardından İTÜ TMDK Çalgı Bölümü Hazırlayıcı Birimde ortaokul devresinin sekteye uğramasıyla yalnızca lise devresine öğrenci alınmasının yarattığı kısır ve problemli uygulamanın bertaraf edilmesi amacıyla yeni bir yapılanmanın gerekliliği hâsıl olmuştur. Bu bağlamda 2010’ da Milli Eğitim Bakanlığı, Talim Terbiye Kurulu ve Türkiye’de ilk ve orta öğretimde alt yapısı olan konservatuvarların temsilcilerinin katıldığı yaklaşık iki yıl süren çalışmalara konservatuvardan Cihangir Terzi katılmıştır. Bu çalışmalar neticesinde hazırlanan Yükseköğretim Kurumlarına bağlı İlk ve Ortaöğretim ortak yönetmeliği çerçevesinde E-Okul sistemine tabi İTÜ TMDK Müzik Ortaokulu ve İTÜ TMDK Müzik ve Sahne Sanatları Lisesi kurulmuştur. Günümüzde öğrenci alan ortaokul ile birlikte tabandan tavana İTÜ Türk Müziği Devlet Konservatuarı yapılanması tamamlanarak ülkemizin Türk Müziği alanında eğitim yapan ilk ve alt yapısı olan yegâne kurum olmanın ayrıcalığının ve haklı gururunu taşımaktadır.2018-2019 dönemi itibariyle konservatuvar müdürlüğüne Prof. Serpil Murtezaoğlu ve müdür yardımcılıklarına Doç. Dr. Tolgahan Çoğulu ve Dr. Öğr. Üyesi Şirin Karadeniz Güney atanmıştır.