La ocupación del territorio queda atestiguada por yacimientos arqueológicos de época ibérica. Destaca el yacimiento de San Cristóbal, situado en un cerro. Proporcionó abundante material cerámico ibérico y romano. Se data en el siglo I a.C.
Su historia está vinculada a la encomienda de la orden de Calatrava que tenía su sede en Alcañiz. En 1179 el rey Alfonso II de Aragón entregó La Mata de los Olmos a la orden de Calatrava. En 1414 seguía perteneciendo a la misma orden.
Hasta 1857 aparecía mencionada como La Mata hasta 1857, su denominación actual: La Mata de los Olmos se emplea desde 1860.
En cuanto a administración, La Mata de los Olmos ha formado parte, de forma sucesiva, a la encomienda de Calatrava en Alcañiz, a la sobrecullida de Alcañiz (1488-1495), a la vereda de Alcañiz (1646) y al corregimiento de Alcañiz (1711-1833). Se constituye como Ayuntamiento en 1834 y forma parte del partido judicial de Castellote, para incorporarse en 1965 al partido judicial de Alcañiz.