Pada awalnya gedung ini berfungsi sebagai kantor pusat perusahaan kereta api swasta milik Belanda dengan nama Nederlands Indische Spoorweg Maatschappj atau disingkat NIS.
Perusahaan inilah yang pertama kali membangun jalur kereta api di Indonesia menghubungkan Semarang, Surakarta dan Yogyakarta.
Jalur pertama yang dibangun adalah Semarang Temanggung pada tahun 1867. Direksi NIS memercayakan perancangan gedung kepada Prof. Jacob F. Klinkhamer dan B.J. Quendag.
Keduanya berdomisili di Amsterdam. Semua proses perancangan bangunan dilakukan di Belanda. Setelah rancangan selesai, gambar-gambar rancangan tersebut kemudian dibawa ke Kota Semarang.
Kantor pusat NIS tersebut adalah sebuah bangunan besar dua lantai dengan bentuk menyerupai huruf “L”.
Pembangunan kantor pusat NIS di Semarang karena adanya kebutuhan yang cukup besar untuk mendirikan banyak bangunan untuk publik dan perumahan akibat perluasan daerah jajahan, desentralisasi administrasi kolonial dan pertumbuhan usaha swasta.
Lawang Sewu menjadi saksi bisu dari kelamnya masa penjajahan Belanda.
Setelah ditinggal oleh NIS, bangunan ini sering difungsikan oleh penjajah Belanda dan Jepang sebagai penjara.
Beberapa ruangan di bangunan ini bahkan disulap menjadi ruang tahanan yang menyiksa.
Namanya saja sudah bisa membuat bulu kuduk berdiri, yakni Penjara Jongkok, Penjara Berdiri dan Ruang Penyiksaan.
Ruang Penjara Berdiri pada awalnya digunakan sebagai lokasi penampungan tahanan.
Tahanan yang tertangkap dimasukkan ke dalam ruangan tersebut dalam kondisi yang berdesak-desakan.
Hal ini memaksa mereka untuk selalu berdiri karena apabila mereka duduk, ruangan penjara akan terasa lebih sempit dan menyiksa.
Tak sedikit dari para tahanan ini meninggal di ruangan ini karena kelelahan atau kekurangan oksigen.
Penjara Jongkok lebih parah lagi. Berbeda dengan ruangan Penjara Berdiri, tahanan yang dimasukkan ke ruang Penjara Jongkok dipaksa untuk berdesak-desakan dalam keadaan berjongkok karena tinggi ruangan tak sampai satu setengah meter.
Bisa dibayangkan seperti apa penderitaan para tahanan yang dimasukkan ke dalam ruangan ini.