Sejarah Semarang berawal kurang lebih pada abad ke-8 M, yaitu daerah pesisir yang bernama Pragota (sekarang menjadi Bergota) dan merupakan bagian dari kerajaan Mataram Kuno. Daerah tersebut pada masa itu merupakan pelabuhan dan di depannya terdapat gugusan pulau-pulau kecil. Akibat pengendapan, yang hingga sekarang masih terus berlangsung, gugusan tersebut sekarang menyatu membentuk daratan.
Bagian kota Semarang Bawah yang dikenal sekarang ini dengan demikian dahulu merupakan laut. Pelabuhan tersebut diperkirakan berada di daerah Pasar Bulu sekarang dan memanjang masuk ke Pelabuhan Simongan, tempat armada Laksamana Cheng Ho bersandar pada tahun 1405 M. Di tempat pendaratannya, Laksamana Cheng Ho mendirikan kelenteng dan mesjid yang sampai sekarang masih dikunjungi dan disebut Kelenteng Sam Po Kong (Gedung Batu).
Pada akhir abad ke-15 M ada seseorang ditempatkan oleh Kerajaan Demak, dikenal sebagai Pangeran Made Pandan (Sunan Pandanaran I), untuk menyebarkan agama Islam dari perbukitan Pragota. Dari waktu ke waktu daerah itu semakin subur, dari sela-sela kesuburan itu muncullah pohon asam yang arang (bahasa Jawa: Asem Arang), sehingga memberikan gelar atau nama daerah itu menjadi Semarang.
Sebagai pendiri desa, kemudian menjadi kepala daerah setempat, dengan gelar Kyai Ageng Pandan Arang I. Sepeninggalnya, pimpinan daerah dipegang oleh putranya yang bergelar Pandan Arang II (kelak disebut sebagai Sunan Bayat atau Sunan Pandanaran II atau Sunan Pandanaran Bayat atau Ki Ageng Pandanaran atau Sunan Pandanaran saja.
Di bawah pimpinan Pandan Arang II, daerah Semarang semakin menunjukkan pertumbuhannya yang meningkat, sehingga menarik perhatian Sultan Hadiwijaya dari Pajang. Karena persyaratan peningkatan daerah dapat dipenuhi, maka diputuskan untuk menjadikan Semarang setingkat dengan Kabupaten. Pada tanggal 2 Mei 1547 bertepatan dengan peringatan maulid Nabi Muhammad SAW, tanggal 12 rabiul awal tahun 954 H disahkan oleh Sultan Hadiwijaya setelah berkonsultasi dengan Sunan Kalijaga. Tanggal 2 Mei kemudian ditetapkan sebagai hari jadi kota Semarang.
Kemudian pada tahun 1678 Amangkurat II dari Mataram, berjanji kepada VOC untuk memberikan Semarang sebagai pembayaran hutangnya, dia mengklaim daerah Priangan dan pajak dari pelabuhan pesisir sampai hutangnya lunas.
Pada tahun 1705 Susuhunan Pakubuwono I menyerahkan Semarang kepada VOC sebagai bagian dari perjanjiannya karena telah dibantu untuk merebut Kartasura. Sejak saat itu Semarang resmi menjadi kota milik VOC dan kemudian Pemerintah Hindia Belanda.
Kantor KPM (Koninklijke Paketvaart Maatschappij) di Semarang (1918-1930)
Pada tahun 1906 dengan Stanblat Nomor 120 tahun 1906 dibentuklah Pemerintah Gemeente. Pemerintah kota besar ini dikepalai oleh seorang Burgemeester (Wali kota). Sistem Pemerintahan ini dipegang oleh orang-orang Belanda berakhir pada tahun 1942 dengan datangya pemerintahan pendudukan Jepang.
Sebagian besar kota terutama kota-kota besar di kawasan pantai, dihadapkan pada peningkatan jumlah penduduk yang pesat, permintaan yang tinggi terhadap perumahan dan berbagai kebutuhan. Setiap dewan kota menangani berbagai masalah sebisa mungkin. dalam hal ini Semarang memimpin.
Pada 1907, W.T. de Vogel, seorang dokter dan anggota dewan kota Semarang, meminta K.P.C. de Bazel seorang arsitek yang berdomisili di Belanda, membuat sketsa awal untuk rencana perluasan daerah berbukit di selatan Semarang.