市北区是1994年由原市北区、台东区的全部地域和四方区、崂山区部分地域合并而成。市北区建置近百年，其所辖地区却有着悠久的历史。

    西周时代，市北区属东夷地。

    春秋战国时期，市北区地域属齐国。

    秦始皇统一中国后，实行郡县制，市北区属琅琊郡。

    西汉时期，市北区属不其县辖域。

    北齐天保七年（公元556年）后的41年，市北区属长广县。

    从隋代开皇十六年（公元596年）起，至明末，市北区境域一直属即墨县。

    清末，市北区境域属即墨县仁化乡文峰社。

    1891年6月14日，清廷内阁明发上谕，允准在胶州湾设防，青岛建置。随青岛的建置，市北区才有了建置的基础和条件。最早组成市北区的5个村子是大鲍岛村、小鲍岛村、孟家沟村、杨家村、扫帚滩村。

    1900年，德国侵占胶澳时期，德国当局把租界分为内界和外界两大区，大鲍岛、小鲍岛、孟家沟、杨家村、台东镇、扫帚滩等，属青岛内界区域。1901年，台东镇已初具规模。

    1914年，日本第一次侵占青岛时期，日本将占领区划分为青岛区和李村区。当时，市北区地域属青岛区。

    1922年，北洋政府接管胶澳后，将青岛市内划分为青岛市街、台东镇、台西镇，其他各地均称乡区。市北区地域属青岛市街。同年，将台东镇改为台东区，台东区正式建置。

    1929年，南京政府第一次统治青岛时期，南京政府将青岛市划分为6个区，市北区属第二区，台东区属第四区。

    1945年，日本投降之前，青岛特别市将市区划分为7个直辖区和3个行政办事处。市北区和台东镇均属直辖区。

    抗战胜利后，国民党青岛市政府于1946年3月17日，将全市划为12个区，在其中的4个市区中，正式使用了“市北区”这个名称，这应属市北区建置之初。

    1949年，青岛解放前夕，国民党政府实行警保统一，将青岛市划分为6个市区和6个乡区。市北、台东两区在市区之中。

    1949年5月，在莱阳县建立台东分区军政委员会。6月2日，青岛解放时，随解放军入城接管台东区工作。1949年6月，台东区人民政府建立。1950年3月，台东区人民政府改为青岛市人民政府台东区区公所。1950年7月，恢复台东区人民政府。

    1949年9月，成立市北区人民政府。1950年3月（民政局资料为1949年12月），改称市北区公所（即市政府派出机构）。1951年7月，改称市北区人民政府。

    1994年5月，根据国务院“国函（1994）32号”、省政府“鲁政函（1994）74号”文件批复，对青岛市市区行政区划作重大调整。5月12日，中共青岛市委、市政府以“青发[1994]17号”文件《中共青岛市委市政府关于认真做好行政区划调整工作的通知》，正式宣布市区行政区划调整方案，撤销台东区，将原市北区和台东区及部分四方、崂山区域合并，形成新的市北区。