Inisiatif pembangunan masjid di kawasan Menteng digagas oleh H.B.R Motik dan Subhan sekitar 1951. 

Mulanya, lokasi yang akan dijadikan sebagai masjid yaitu kawasan di sekitar Taman Sunda Kelapa. 

Akan tetapi usulan tersebut ditolak oleh pejabat pemerintahan DKI Jakarta pada saat itu. 

Rencana pembangunan masjid sempat ditunda cukup lama karena peristiwa G30 SPKI. 

Pascaperistiwa G30 SPKI, harapan mendirikan masjid kembali tumbuh dan direncanakan akan mengalihfungsikan gedung Adhuc Stat (sekarang gedung Bappenas) menjadi masjid. 

Hal ini kemudian didukung dengan dilantiknya Ali Sadikin sebagai Gubernur DKI Jakarta.