科隆的历史可以追溯到公元前1世纪。那时罗马帝国正称雄欧洲，皇帝奥古斯都派驸马阿格里帕挥师北进，抵达莱茵河边，与河东为数众多的日耳曼部落隔河对峙。阿格里凰招募盟友乌比尔部落到河西来建起军营要塞，共同防守新开拓的边地。这是公元前38年的事。又过了几十年，营寨四周渐成街市。这时，阿格里帕的外孙女，出生于此地的阿格里皮娜登上了皇后宝座。她恳请皇帝把自己的故乡升格设市。公元50年，后幸福克劳锹一世下诏，授予此地罗马城市的权力，并定为名为科隆尼亚·克劳狄·阿拉·阿格里皮内西姆。这市名虽长，却道出了城市的历史渊源。科隆尼亚意为罗马人的拓居地，克劳狄是皇帝名，阿拉是乌比尔冲淡落的祭坛，阿格里皮内西姆则是皇后名加词尾变化而来。天长日久，这冗长的市名遂简化为科隆。罗马时代是科隆历史上的第一个兴盛时期，这里商贾云集，街市繁盛，城垣高磊，至今犹存的罗马塔（Romerturm），就是那时城垣的一部分。

中世纪是科隆的又一个盛世。公元795年，查理大帝定科隆为大主教驻地。此后，城池经几度扩建，到12世纪时，今日科隆内城的规模就已经奠定。半圆形的城垣总长6公里，开有12座城门，现存3座，从中仍可窥见中古科隆城的雄伟气势。那时科隆有居民4万人，是德意志首屈一指的大城，人口甚至超过当时的巴黎和伦敦。科隆的兴盛得益于优越的地理位置。它地处南北水路和东西大道的要冲，又是朝圣要道。舟楫车马都从这里经过，八方货物也在这里集散。科隆当时还有一个特权，即：所有途经科隆的货物，都必须首先在该市展销3天，才能继续转运。这对于科隆的商业，无疑是一大促进。随着经济势力的增强，科隆的富商和手工业行会夺回了城市管理权，大主教逃往波恩，不再是科隆的统治者。科隆成为帝国自由市和汉萨同盟的重要城邦。

铁与蒸汽机的时代为科隆带来了第三个兴盛时期。1815年，科隆被并入普鲁士。1839年，铁路修到科隆，与河运联成一气。随着鲁尔煤田的开发和铁路的延伸，科隆一跃而成近代的工商业都市。1876年，发明家奥托在科隆造出世界上第一台四冲程内燃机，轰动了各国工业界。从1917年到1933年，阿登纳担任科隆市长。在他的推动下，科隆建起了内外环绿化带和博鉴会场设施，城市面貌大为改观。

第二次世界大战中，科隆遭到猛烈轰炸，全城几乎被夷为平地。战后，科隆在废墟上重建，这座历尽沧桑的莱茵古城，如同灰烬中飞出的金凤凰，又成为一个兴旺发达的现代化大城市。