Fundada a finales del siglo I a.C, la ciudad galorromana se emplazaba en la coolina de Boismoreau, dominando la ría. Con el nombre de Darioritum, se organizaba en torno a un amplio foro, centro del poder administrativo y político de la tribu de los veneti, una tribu comunmente asociada con los galos y derrotados por Julio César en 56 aC. No es seguro si éstos venetos y los pueblos homónimos del norte de Italia son los mismos, aunque es más que probable. El puerto favorecía la actividad comercial de la ciudad. A fines del siglo III d.C. se construyó un castro en la vecina colina de Mené.
Desde el siglo V Vannes es sede episcopal. La ciudad se desarrolló en torno a los dos polos de las colinas de Mené ?donde se edificó la catedral- y de la colina de Boismoreau. Este último núcleo se abandonaría en la Alta Edad Media.
En los siglos XII y XIII se produjeron obras de renovación de la ciudad: se reconstruyó la catedral, se mejoraron las murallas y se estableció una red viaria centrada en torno a los edificios principales. Al final de la Edad Media, Vannes era un de las pricipales ciudades bretonas.
Entre 1675 y 1689 el parlamento de Bretaña fue obligado a abandonar su sede habitual en Rennes, pasando a Vannes. Este hecho impulsó la edificación de nuevas construcciones, sobre todo en el sur de la ciudad. También se estableció una red de distribución de agua potable y se construyeron paseos arbolados que embellecieron la ciudad.
El ferrocarril llegó en 1862.
