Awal sejarah berdirinya gedung Pancasila di Jakarta bermula sekitar tahun 1830 dan gedung ini didesain oleh J. Tromp. Awalnya, gedung ini dibangun sebagai rumah bagi Hertog Bernhard dan nantinya menjadi tempat tinggal dari komandan tentara kerajaan Belanda. Selain itu, tim kami juga mendapatkan informasi bahwa gedung yang ada di Jl. Pejambon No.6 Jakarta Pusat ini berguna sebagai tempat dilakukannya pertemuan oleh Volksraad (Dewan Rakyat), sebuah dewan yang diprakarsai oleh pemerintah Hindia-Belanda bersama Gubernur Jendral J.P. van Limburg Stirum dan Thomas Bastiaan Pleyte yang menjadi menteri urusan koloni Belanda pada waktu itu. Beberapa sumber juga menyatakan bahwa gedung ini merupakan tempat dari Raad van Indie.
Ketika pemerintah kolonial Hindia-Belanda masih menancapkan taring mereka di Indonesia, di Jakarta terutama di Taman Pejambon dan Lapangan Banteng banyak didirikan gedung pemerintahan. Dari seluruh gedung yang dibangun, salah satunya adalah gedung Pancasila yang dulu diberi nama gedung Volksraad di Jalan Pejambon nomor 6. Memang, tidak ada catatan jelas tentang sejarah asal usul berdirinya gedung Pancasila. Namun begitu, ada beberapa literatur ilmiah yang mengatakan bahwa gedung ini mulai dibangun sekitar tahun 1830. Awalnya, gedung ini dibangun sebagai rumah tinggal bagi komandan tentara kerajaan Belanda, dimana ia juga merangkap sebagai Letnan Gubernur Jendral. Jika kita berjalan ke arah timur dari gedung ini, kita bisa menemui gereja Immanuel, benteng Pangeran Frederick, stasiun Gambir, dan pengadilan tinggi.
Sebelum gedung Volksraad dibangun, komandan tentara kerajaan Belanda tersebut tinggal di tempat yang sekarang telah menjadi gereja Katedral. Rumahnya ia jual kepada yayasan gereja Katolik seharga 20.000 gulden dan tercatat dalam surat keputusan tanggal 5 Desember 1828. Rumah tersebut kemudian oleh pihak gereja dibongkar dan didirikan sebuah gereja megah. Entah karena apa, gedung ini tiba-tiba roboh pada 9 April 1880, dimana akhirnya sebuah gereja katedral dibangun untuk menggantikan gereja yang runtuh tadi. Gereja katedral ini kemudian diresmikan sepuluh tahun setelahnya, tepatnya pada tahun 1901. Dijualnya rumah tersebut berarti sang komandan membutuhkan rumah baru, dimana akhirnya diputuskan untuk mendirikan rumahnya di atas taman yang nantinya dikenal dengan nama Taman Hertog. Nama untuk taman ini sendiri diambil dari nama Panglima Belanda periode 1848 hingga 1851 yang bernama Hertog van Saksen Weimar. Taman ini nantinya akan kembali berganti nama menjadi taman Pejambon.
Gedung Volksraad yang menjadi gedung kediaman komandan Belanda tadi sebelum ia dipindah tugaskan ke Bandung pada tahun 1916 dinilai cukup memadai jika dialih fungsikan menjadi gedung sidang bagi Dewan Rakyat. Bagian baru dalam sejarah berdirinya gedung Pancasila di Jakarta kembali tercatat ketika gedung ini akhirnya diresmikan oleh Gubernur Jendral Limburg Stirum sebagai gedung Volksraad pada Mei tahun 1918. Jika melihat katalog pameran dalam acara peringatan hari ulang tahun ke-300 Batavia, dapat ditemukan catatan bahwa Volksraad juga pernah dijadikan sebagai tempat pertemuan anggota Dewan Hindia-Belanda (Raad van Indie). Pemerintah Hindia-Belanda kemudian membangun gedung baru untuk Raad van Indie tepat di sebelah barat gedung Volksraad, yaitu di Jl. Pejambon no. 2.
Pada suatu masa, jumlah anggota Volksraad secara keseluruhan pernah ada yang mencapai titik 60 orang dimana 30 dari jumlah tersebut adalah wakil rakyat Indonesia yang 19 darinya dipilih langsung, 25 orang bangsa Belanda, 4 orang sebagai perwakilan dari masyarakat golongan keturunan Tionghoa, dan satu diantaranya adalah seorang yang menjadi perwakilan keturunan Arab. Per tahun, diadakan dua kali sidang di gedung Volksraad ini, dimana sidang pertama selalu diadakan pada tanggal 15 Mei sementara sidang kedua dilaksanakan pada hari Selasa di minggu ketiga bulan Oktober. Untuk waktu yang dibutuhkan bagi sidang tersebut untuk berjalan adalah empat setengah bulan. Dalam jangka waktu 14 tahun sejak dibuat pada tahun 1927, Volksraad hanya dapat mengajukan 6 rancangan, dan hanya 3 yang diterima oleh pemerintahan kolonial pada masa itu. Hasil tersebut juga dicapai ketika tiga anggota Volksraad berkata bahwa sepanjang sejarah Volksraad berdiri, hampir tidak ada hasil yang bisa mereka capai sama sekali.
Sejarah berdirinya gedung Pancasila kembali memasuki babak baru ketika Cho Sangi-in dibuat sebagai badan yang memiliki tugas untuk memberikan masukan-masukan dan pertimbangan kepada para pemerintah, dan mereka juga harus menjawab pertanyaan-pertanyaan yang diajukan oleh pemerintah jika terkait soal politik. Jumlah total anggota badan ini ada 43 Orang, dimana 23 merupakan orang pilihan, 18 orang utusan dari tiap keresidenan dan Batavia, dan 2 orang utusan dari Yogyakarta dan Surakarta. Kembali dipergunakan gedung Volksraad ini sebagai tempat sidang dari badan pertimbangan yang dibuat oleh Jepang ini, dan nama gedung ini menjadi lebih dikenal oleh masyarakat sebagai Gedung Cho Sangi In. Pada tanggal 16 hingga 20 Oktober tahun 1943, dibentuklah 4 Komisi yang tugasnya adalah untuk menjawab pertanyaan dari Saikou Shikikan untuk memenangkan perang Pasifik.
Sejarah berdirinya gedung Pancasila di Jakarta akhirnya mendapatkan namanya ketika Jepang mulai mengalami kekalahan dalam perang Pasifik dimana mereka akhirnya membuat Dokuritsu Junbi Chosakai (Badan Penyelidik Usaha-usaha Persiapan Kemerdekaan Indonesia atau BPUPKI). BPUPKI kemudian kembali menggunakan gedung Volksraad sebagai tempat mereka mengadakan sidang-sidang. Pada tanggal 1 Juni 1945, Soekarno mulai melayangkan kritik kepada BPUPKI karena mereka seperti tidak ada niatan merancang kemerdekaan Indonesia. Baru setelah itu, BPUPKI mulai bekerja keras dan akhirnya melakukan sidang tentang apa yang akan menjadi dasar Negara Indonesia. Karena rapat tersebut menghasilkan bentuk awal dari Pancasila, maka gedung tersebut yang menjadi tempat kelahiran Pancasila, diubah lagi namanya menjadi Gedung Pancasila.