Madrasah Tsanawiyah Negeri 2 Medan (MTsN 2  Medan) pada awal berdirinya merupakan Madrasah Tsanawiyah Negeri Medan. Ketika terjadi perubahan tuntutan kebutuhan terhadap kualitas SDM guru mata pelajaran Pendidikan Agama Islam dengan mensyaratkan lulusan Diploma III, maka PGAN 6 tahun dilikuidasi oleh pemerintah terhitung Tahun Pelajaran 1979 – 1980. Diawal Tahun Pembelajaran  1980 – 1981 siswa MTs Negeri Medan merupakan siswa peralihan dari PGAN Medan Kelas I s/d III. Dan proses KBM di Jl. Pancing (sekarang Jl. Williem Iskandar).

Selanjutnya Pada Tahun 1983 MTs Negeri Medan memiliki lokasi Kegiatan Belajar Mengajar yg baru di Jl. Pertahanan Desa Amplas –  Kec. Patumbak. Meskipun demikian proses KBM di MTs Negeri Medan Jl. Pancing (sekarang Jl. Williem Iskandar) tetap berlangsung. Selanjutnya terjadi  perubahan kepemimpinan di MTs Negeri Medan sebagai berikut :

Kepala MTs Negeri Medan yg Pertama adalah Bapak Drs. H.M. Sanip Ma`un, kemudian di lanjutkan oleh Bapak Drs. H. Suangkupon Siregar, dan yang terakhir adalah Bapak Drs. H.M. Sotar Siregar.

Pada tanggal 01 April 1996 MTs Negeri Medan di pecah menjadi 2 bagian , yaitu MTs Negeri 1 Medan terletak di Jl. Pertahanan Desa Amplas Patumbak, sedangkan MTs Negeri 2 Medan terletak di Jl. Peratun No. 03 Kompleks Medan Estate. Pemrakarsa pemisahan MTs Negeri Medan menjadi 2 bagian adalah Bapak Drs. Marahalim Siregar dan Bapak Drs. H. Sotar Siregar yang terjadi pada masa kepemimpinan Bapak Drs. H. Suangkupon Siregar.

Selanjutnya terjadi pergantian kepemimpinan di MTs Negeri 2 Medan seperti diuraikan berikut :