远古时期，距今五、六千年前，这里就散布着众多的原始村落。居住在济宁的“有仍氏”已进入父系氏族公社时期。夏朝时，济宁城区一带称为“任国”，(即仍国，古代仍、任两字同音)一直延续到商周两代。秦统一中国后，废封建置郡县，改称为任城县。五代时期称济州。北宋时期称济州济阳郡。到元八年(1271年)升济州为济宁府，这是济宁之名最早出现的年代。济宁地名的由来，据传因任城一带地势较高，可免水灾，能保安宁，故为济宁。明朝时先为济宁府，后属兖州府，清朝时为济宁直隶州。辛亥革命后，废州府设道，先后为岱南道、济宁道。国民党统治时期曾属鲁西行政公署第一、二督察区。

    日伪时期属鲁西道，后改兖济道。抗日战争胜利后的国民党统计时期(1945年8月一1946年1月，1946年9月一1948年7月)，济宁称为济宁县，属山东省第二区行政督察专员公署。1946年1月9日，解放军第一次解放济宁，当时以城区及近郊划为济宁市，属冀鲁豫七专区，3月29日升为地级市，直属冀鲁豫行署，同年9月，国民党军队占领济宁。1948年7月14日济宁重获解放后，将原济宁城区及近郊复称济宁市。初属冀鲁豫行署，同年8月划归山东省，属鲁中南行署。