青岛市档案馆于1959年开始筹建，1961年7月正式成立。1963年青岛市档案馆与新成立的青岛市档案管理局迁入青岛市湖南路37号（后改为39号）合署办公。 “文革”期间，青岛市档案馆与青岛市档案局被撤销，1979年12月得以恢复。恢复后的青岛市档案馆仍与青岛市档案局合署办公，青岛市档案局列入政府序列，受市委、市政府双重领导，青岛市档案馆为市委、市政府直属的科学文化事业单位。