成立于1984年6月15日，1984年12月开馆，为湖南省最早成立的地市级少儿图书馆。市少年儿童图书馆是以少年儿童、家长及教育工作者为主要服务对象的社会文化教育场所，承担着城区40万少年儿童（含流动人口）文献信息资源借阅，以及全市各基层或学校图书馆（室）的技术支持、业务咨询和指导、信息交流等工作，属国家公益事业单位。2004年开通衡阳市少年儿童图书馆网站，2005年被评定为国家二级图书馆， 2006年建立了全国文化信息资源共享工程衡阳少儿支中心，在全市范围内设立中心馆、分馆、流通点三级服务网点，已初步形成覆盖城区的服务网络体系。中心馆馆舍面积2000平方米，位于市先锋路49号。拥有馆藏藏书11万册，馆藏结构富有鲜明的少儿特色，馆藏图书实行开架借阅服务，业务工作实行计算机自动化管理，馆内设读者服务中心、低幼读物借阅室、期刊借阅室、电子阅览室、自修室、综合文献借阅室、连环画阅览室、声像资料借阅室、青少年心理咨询室9个对外服务窗口。馆外设立胜利山社区分馆、石鼓区文化馆分馆、市特殊学校分馆、市儿童福利院分馆4个网点及19个中小学校服务流通点。服务项目为借阅服务、信息服务、培训服务、导读服务，其中经常结合社会热点及教育的需要，适合少年儿童特点的形式多样的读书活动和特别针对青少年所开设的心理咨询服务，已形成两大特色品牌服务，为未成年人的健康快乐成长提供了优质的服务。2011年10月1日起实行免费开放。将始终秉承“服务第一、读者至上”的理念，坚持“公益性”和“公平性”的办馆宗旨，最大可能地吸引大众走进图书馆，最大可能地方便读者享受图书馆提供的服务，最大可能地发挥图书馆应有的社会作用。