Cognac est mentionné pour la première fois en 1016. Les seigneurs de l’époque sont Itier et Arnaud de Villebois. Du château médiéval bâti sur une hauteur en bordure du fleuve, subsistent une salle du XIIIe siècle et un corps de bâtiment construit en 1450. C’est ici qu’est né François Ier en 1494. Il fera construire en 1517 deux belles salles voûtées en anse de panier parallèles aux quais. En façade, se trouve une loge Renaissance décorée de portraits en médaillon et de salamandres (l’emblème du roi).

Le prieuré Saint-Léger fondé en 1016, possédait au milieu du XIIe siècle une église à file de coupoles remplacées au XIIIe siècle par des voûtes d’ogives. L’abside d’origine a laissé place à un imposant chœur gothique terminé par un chevet plat. La façade romane présente un portail décoré d’un zodiaque et des travaux des mois et une rose percée au XVe siècle. Le cloître et les bâtiments conventuels endommagés pendant les guerres de Religion ont été reconstruits en 1623. La ville était protégée par une muraille édifiée au XIIIe siècle par Guy de Lusignan que l’on franchissait par des portes fortifiées. Seule la porte Saint-Jacques demeure. Elle reliait grâce à un pont aujourd’hui disparu, la ville forte au faubourg Saint-Jacques situé rive droite. Le port saunier de Cognac, cité dès le XIe siècle, était le point de passage obligé des bateaux qui transportaient le sel. A ce commerce s’est ajouté celui du vin au XIIIe siècle, puis celui des eaux-de-vie de Cognac au XVIIe siècle qui ont fait la renommée mondiale de la ville.

La vieille ville a conservé ses rues pavées sinueuses et quelques maisons à pans de bois. L’une des plus remarquables est celle de la Lieutenance, située Grand-rue, qui présente en façade d’étonnants personnages en bois datés du XVe siècle.