Parece ser que la ciudad se fundó a finales de la Edad Media y que fue un puerto durante la época carolíngica. Se fortificó casi enseguida, a causa de su posición estratégica ya que se encuentra cerca de la frontera de Normandía, por lo que permitía proteger París de las incursiones enemigas.
La ciudad fue incendiada en 1087 por Guillermo el Conquistador durante su campaña de represalias en el Vexin. Luis VI concedió a la ciudad el estatus de comuna libre mediante una carta en 1110 que le otorgaba privilegios. El rey Felipe Augusto falleció en esta ciudad el 14 de julio de 1223.
Debido a su situación estratégica al lado del Sena y en la frontera de Normandía, Mantes fue una villa deseada durante la guerra de los Cien Años y cambio de manos en diversas ocasiones, siendo posesión entre otros de Carlos II de Navarra y deseada por los ingleses. A la muerte de Enrique III, Mantes fue partidaria de la Liga, pero fue tomada por Enrique IV, quien instaló su cuartel general, en vistas a la conquista de París que tuvo lugar el 22 de marzo de 1594. Además, el rey visitaba regularmente la ciudad ya que en ella vivía una de sus amantes, Gabrielle d'Estrées. La edad dorada de la ciudad llegó a su fin cuando su recurso principal, el vino, dejó de venderse caro.
Llamada en origen Mante, su nombre se convirtió en Mantes a partir de finales del siglo XVIII. Durante la época del desarrollo del sistema postal su nombre pasó a ser el de Mantes-sur-Seine para evitar confusiones con Nantes. En 1930, al unirse con la ciudad de Gassicourt, el nombre volvió a cambiar para convertirse en Mantes-Gassicourt. Su nombre actual es de 1953. Su posición estratégica durante la II Guerra Mundial, al ser un nexo entre Normadia e Ille de France, convirtió a la ciudad de Mantes en un objetivo estratégico. El 13 de junio de 1940, el ejército alemán ocupa la ciudad. Bombardeada desde el aire en más de cincuenta ocasiones, notablemente el 30 de mayo de 1944. Este ataque aéreo, de las fuerzas aliadas, redujo a escombros gran parte del centro histórico de la ciudad aunque, milagrosamente, la catedral de la Collégiale quedo intacta. La ciudad es liberada por la armada de Patton el 19 de agosto de 1944 aunque las consecuencias de la reciente incursión aérea son catastróficas ya que se cuentan por centenares las víctimas civiles que han perecido ha causa del bombardeo.