Tras la caída del Imperio Romano, una comunidad visigoda se asentó en lo que hoy es el pueblo de Gotor.
A esta época hace referencia el origen del nombre de la villa, ‘Gotorum’, es decir, ‘Tierra de godos’. Con la invasión musulmana de la península, estos tomaron el relevo a los godos y dejaron en Gotor una importante huella con la construcción del barrio árabe, formado por casas de adobe y puertas con el característico arco de herradura, entre las que se encuentra la que fue la casa de la familia dominante y que actualmente sigue en pie y dividida en tres partes.