Urkundlich erwähnt wurde Kollnburg erstmals im Jahre 1153.
Die Vorfahren der Kollnburger siedelten sich auf einem felsigen, wenig fruchtbaren Höhenzug an, wie die alten Ortsnamen Kalenberg, Kallenberg oder Kahlenberg belegen. Die Anfänge der Besiedlung dürften allerdings bis in die frühkarolingische Zeit zurückreichen. Diese frühe Besiedlung erklärt sich daraus, dass Kollnburg an der alten Handelsstraße, dem Bayerweg (heute der bekannte Fernwanderweg vom Donautal über Kollnburg nach Böhmen) liegt, die schon zur Zeit der Völkerwanderung größere Bedeutung hatte.