Desde la época de ocupación árabe de la ciudad de Elvas era abastecida por el pozo de Alcalá, situado cerca del antiguo Palacio Episcopal. Sin embargo, desde el siglo XV, debido al crecimiento de la población, el pozo se hizo insuficiente para abastecer de agua a la ciudad.
Al comienzo del reinado de Manuel I de Portugal, autorizó la liberación de un impuesto, el "real de agua" para ser ejecutadas obras de conservación en el pozo medieval. Estas obras no resolvieron los problemas de abastecimiento, por lo que las autoridades locales pensaron en construir un acueducto que trajese el agua desde los arrabales, en la localidad de Amoreira, al centro de la ciudad.
En 1537 Juan III de Portugal nombró al arquitecto Francisco de Arruda, entonces maestro de obras de la región del Alentejo y autor del Acueducto de Plata del Agua de Évora, para ejecutar el proyecto para el nuevo acueducto de Elvas. Las obras comenzaron el mismo año, continuando hasta 1542, cuando la longitud del canal alcanzó el Convento de San Francisco. A esto siguió por la ejecución del diseño más complejo, ya que después de los primeros seis kilómetros los arcos del conducto debían aumentar de tamaño. El trabajo se hizo cada vez más costoso, a pesar de los impuestos cobrados a los residentes en la ciudad para la construcción del acueducto se fueron aumentando con los años.
En 1547 los trabajos fueron suspendidos debido a la falta de fondos, y se reanudó en 1571. Esta segunda campaña de obras fueron dirigidas por el ingeniero Afonso Álvares, continuó hasta 1580, cuando la subida al trono de Portugal de Felipe II de España llevó a una nueva interrupción del trabajo.
El trabajo se reanuda a principios del siglo XVII , y alrededor de 1610 , se concluyó que era necesario modificar el proyecto del acueducto, dándole más altura para poder llevar el agua al Largo da Misericordia. Esta decisión retrasó aún más la finalización de la obra, no solo debido a las dificultades prácticas relacionadas con el trabajo de ingeniería, si no también por los mayores costes del proyecto. Finalmente, en 1620 corrieron las aguas del acueducto dentro de las primeras murallas de la ciudad, que llegarían a una fuente provisional construida cerca de la antigua Iglesia de la Magdalena. En el año 1622 se completó la Fuente de la Misericordia , donde finalizó el recorrido de las galerías del acueducto.
Durante la guerra de restauración la defensa de Elvas, ciudad fronteriza de importancia estratégica, se ha convertido en un imperativo. La ubicación del acueducto se convirtió en un obstáculo para la construcción de un nuevo conjunto de fortificaciones por lo que los ingenieros militares propusieron derruir el acueducto, con el respaldo de Juan IV de Portugal. La ciudad de Elvas se opuso a esta medida, y el conde de San Lorenzo, gobernador de la plaza-fuerte de Elvas, gestionó una petición a la Corona que el monarca respaldó.
Para superar las dificultades de abastecimiento de la ciudad durante la guerra se construyó una cisterna, diseñada por el ingeniero Nicolás de Langres y construida en la década de 1650 de acuerdo con un modelo de "abovedado y a prueba de bombas", que fue conectada con el acueducto a través de un tubería subterránea.
En la segunda mitad del siglo XX sufrió la ruina de algunos arcos en la zona más alta que se reparan con el uso de técnicas originales.
Está clasificado como Monumento Nacional desde 1910.
