创建于1926年，时称哈尔滨市立图书馆，历经民国、伪满、新中国建国前等重要历史时期，藏有珍贵历史档案资料。自新中国成立后，哈尔滨市图书馆复建以来，特别是改革开放以来，在党和政府以及社会各界的关心支持下，市图书馆始终在解放思想中前行，在创新实干中发展，并不断向着现代化图书馆的目标迈进。现馆舍位于南岗区学府路49号（原位于一曼街249号馆址设置为外借分馆和少儿馆，后经权威机构鉴定为D级危房，已分别于2010年4月26日、2016年2月15日暂停对外开放），建筑面积1.85万平方米，1991年建成投用，曾为当时哈尔滨市地标性文化建筑。如今，哈尔滨市图书馆遵循《公共文化服务保障法》和《公共图书馆法》，履行全市中心馆的职责，行使保障公众基本文化权益、推动图书馆事业发展的使命。按照平等、开放、共享的要求，向社会公众免费开放，成为一个集文献收藏、信息咨询、社会教育、全民阅读推广、学术研究于一体的大型综合性公共图书馆，是社会主义公共文化服务体系重要组成部分。截止2019年初，馆藏图书、期刊、报纸等各类文献资源351万册件，其中古籍图书10余万册，电子图书4万多种；年均接待读者近150多万人次，举办各类活动千余场。拥有“哈尔滨讲坛”、“流动汽车图书馆”、“优秀读者评选”、“心目驿站—助盲志愿服务”、“全民阅读推广品牌一书·一城”、“雪孩子阅读成长计划”、“沙盘游戏”、“老年人公益培训班”等多品牌服务。数字图书馆建设更是扎实推进，数字资源服务量已达300T。“喜阅购借—你选书我买单”服务深受广大读者欢迎；“信用借阅”开启了无证“信用+阅读+互联网”公益借阅新模式。在全市设有47个社区和行业分馆、36家图书流动站。《哈图专报》、《哈夏专题》、《文都专题》等二、三次文献，获得了各级领导和用户的肯定与赞扬。多年来，获得了全民阅读示范基地、省十佳阅读推广组织、全国优秀盲人读者评选活动优秀组织奖、省学雷锋志愿活动首批示范单位等荣誉称号。