Awalnya masjid yang asli dibangun pada tahun 1612 di masa pemerintahan Sultan Iskandar Muda. Ada juga yang mengatakan, bahwa masjid yang asli dibangun lebih awal pada tahun 1292 oleh Sultan Alaidin Mahmudsyah. Pada saat itu status masjid ini sebagai masjid kerajaan yang menampilkan atap jerami berlapis-lapis yang merupakan fitur khas arsitektur Aceh.[2]
Kemudian ketika Kolonial Hindia Belanda menyerang Kesultanan Aceh pada tanggal 10 April 1873, masyarakat Aceh menggunakan bangunan masjid yang asli sebagai benteng pertempuran, dan menyerang pasukan Kerajaan Belanda dari dalam masjid. Pasukan Kerajaan Belanda pun membalas dengan menembakkan suar ke atap jerami masjid, yang menyebabkan masjid terbakar. Ibadah salat dan lainnya saat itu direlokasi ke Masjid Baiturrahim Ulee Lheue. Jenderal Van Swieten pun menjanjikan pemimpin lokal bahwa dia akan membangun kembali masjid dan menciptakan tempat yang hangat untuk permintaan maaf.
Lalu pada tanggal 9 Oktober 1879,[3] Kerajaan Belanda membangun kembali masjid ini sebagai pemberian dan untuk mengurangi kemarahan rakyat Aceh. Konstruksi dimulai pada tahun 1879, ketika peletakan batu pertama diletakkan oleh Jendral Van Der Heyden dan Tengku Qadhi Malikul Adil, yang kemudian menjadi Imam pertama masjid, dan diselesaikan pada tanggal 27 Desember 1881 ketika masa pemerintahan Sultan terakhir Aceh, Muhammad Daud Syah. Banyak orang Aceh yang awalnya menolak untuk beribadah di Masjid Baiturrahman yang baru ini karena dibangun oleh orang Belanda, yang awalnya merupakan musuh mereka. Namun sekarang masjid ini telah menjadi kebanggaan masyarakat Banda Aceh.[4]