Más hacia el Oeste queda la fortaleza de Alija emplazada sobre los cerros graníticos que dominan la desembocadura del rio Gualija en el Tajo. Su disposición estratégica cabe relacionarla con el paso de una antigua vía que salvando los puentes del Búho y del Conde alcanzaba las llanuras del arañuelo toledano y sus enlaces hacia los puertos castellanos. Este control lo reforzaba, en la otra orilla, la atalaya Peñaflor, de la que hoy no queda más que la cimentación al pie de la roca del mismo nombre.
De su importancia se hacen eco las fuentes medievales, mucho más prolijas en datos sobre los avatares del asentamiento. Por Ibn Hazm sabemos que un miembro de la tribu berebere de los "Awraba", Sabrun b. Sabib gobernó la fortaleza de "Alisa" a finales del siglo XI o a comienzos del X, ya que su hijo fue destituido del mismo cargo por el califa Abda al-Rahman III anNasir. Otro cronista, Ibn Hayvan, al hablar del Tajo comenta que pasa al Norte por la fortaleza de "Alisa", situada a ochenta millas de Toledo.
Más tarde tenemos constancia arqueológica de su repoblación efectiva por parte cristiana en una necrópolis de tumbas antropomorfas excavadas en la roca con cabecera semicircular y en una ermita que aprovecha el solar de otra hispano-visigoda, destruida seguramente para construir la fortaleza, pues sillares, "tegulae" y fragmentos de mármol con decoraciones propias del s. VII se hallan dispersas y empotradas en los muros y torres cuadradas de la fortaleza.
La misma población cristiana debió ampliar la cerca del castillo, consolidándola con torres diferentes en muchos aspectos de las musulmanas.
En 1480, aseguradas ya las fronteras con el Islam, D. Pedro de Zúñiga, II Conde de Miranda del Castañar hereda de su padre unos territorios que Juan II le había cedido a la caída de su valido D. Álvaro de Luna, entre los que se incluía el Castillo de Alija y sus tierras, donde una población cristiana habla sustituido a la musulmana.
Dicho Conde, a la vista de las magníficas tierras que se abrían a los pies del castillo, en un tiempo en que las fronteras del reino se hallan ya muy al sur, permite a sus habitantes que lo despueblen y se trasladen a la vega, asentándolos en el antiguo solar de "Augustóbriga"; las Relaciones Topográficas de Felipe II escritas en 1577 narran perfectamente este proceso, recordando los ocupantes cuando abandonan Alija, conservando en el concejo aún el cargo de Alcalde de aquella localidad.
Con el abandono llegó la ruina, desplomándose la torre central al ceder las claves del arco que la soportaba, cedieron los tápiales y soterraron el aljibe que abastecía de agua a sus antiguos moradores.