Fue capital de los nitióbrigos, pueblo celtíbero que se instaló en el siglo IV a.C.. Desde la época galorromana (con el nombre de Aginnum) ha sido un punto importante en la ruta de Burdeos a Toulouse. El desarrollo romano fue interrumpido por la invasión visigoda en 419. En el siglo VI cayó en poder de Gontran, rey de los burgundios. En el siglo VII pasó a manos del Reino de Tolosa, y fue devastada por los árabes durante las campañas que acabarían en la batalla de Poitiers. Tras Carlomagno, el Agenais se constituyó en condado, amenazado por los normandos que remontaban el Garona hacia Toulouse. Todas estas invasiones acabarían reduciendo la ciudad a un conjunto de islotes fortificados, como el Castrum Sancti Stephani (en torno a la catedral de San Esteban) o el Castrum Montis Revellis (que posteriormente sería el castillo de Montrevel, emplazamiento del actual Ayuntamiento).
En 960 pasó a manos de Guillermo Sancho, como parte del ducado de Gascuña. Ésta se integraba en un gran estado aquitano, constituido a partir de 1032. Su duquesa Leonor de Aquitania sería reina de Francia en 1137 y de Inglaterra en 1152. Durante tres siglos Agen fue plaza fronteriza entre los territorios ingleses y franceses, cambiando de manos hasta once veces.
El Renacimiento fue en general un periodo próspero. De 1476 a 1586 se sucedieron una serie de obispos italianos que contribuyeron al desarrollo cultural de la ciudad. En lo económico, aumentó la producción agrícola y de las industrias alimentarias, así como la exportación de la producción de vino, harina y ciruelas. Por el contrario, las guerras de religión conllevaron matanzas, pillaje y destrución. La ciudad se mantuvo en el bando católico, pero fue tomada por los hugonotes en 1562 y 1569.
En el XVII la pujanza económica permitió a la ciudad recuperarse de las guerras religiosas. En 1610 se estableció la feria du Gravier y la de Porte du Pin. El Garona creció en importancia como vía comercial, aventajando a la red de caminos mal mantenida. Sin embargo la recuperación se vería afectado por la guerra de la Fronda y por la revocación del edicto de Nantes en 1685, que haría marchar a los protestantes, elementos dinámicos de la economía local. En el lado positivo, tras la hambruna de 1651 se introdujo el cultivo del maíz y en 1681 se finaliza el Canal du Midi.
A inicios del XVIII hay un fuerte movimiento emigratorio, inicialmente a Burdeos, pero también a destinos más lejanos, incluso a ultramar. Este movimiento proviene tanto los efectos de las guerras y de la expulsión de los protestantes como de hechos más limitados en el tiempo, como el duro invierno de 1709. El fenómeno es más acentuado a partir de 1740 y continuará en la segunda mitad del siglo pese a la mejora de la situación económica que se inicia en 1750.
A mediados del XVIII se empiezan a demoler las fortificaciones, y en 1762 se instala alumbrado público. Se instalan industrias textiles y de equipo para la Marina Real. En 1790 Agen será nombrada prefectura del nuevo departamento de Lot y Garona.
