A lenda da imagem de Nossa Senhora da Nazaré remonta a tempos antigos.
Segundo a lenda da Nazaré, em pleno século IV, um monge grego de nome Ciríaco terá trazido ao Mosteiro de Cauliniana, localizado em Espanha, perto da cidade de Mérida, a dita imagem da Virgem. Quatro séculos mais tarde, o último rei visigodo da Península Ibérica – D. Rodrigo – chegava ao mosteiro fugido dos Mouros, após estrondosa derrota na batalha de Guadalete.
D. Rodrigo juntou-se a Frei Romano, um dos monges do mosteiro, que levou a imagem da Virgem na sua fuga, juntamente com as relíquias de São Bartolomeu e de São Brás. De acordo com a lenda da Nazaré, a imagem da Virgem foi guardada numa lapa durante cerca de 400 anos, até ser descoberta por um grupo de pastores locais.
Segundo a lenda da Nazaré, o alcaide-mor do Castelo de Porto de Mós, Dom Fuas Roupinho, que tinha por hábito caçar naquela região, terá também descoberto a imagem da Virgem, passando a venerá-la com devoção. A 14 de Setembro de 1182, D. Fuas Roupinho terá sido salvo pela Virgem. Reza a lenda que, nessa manhã de nevoeiro, D. Fuas Roupinho caçava um veado, que, toldado pela neblina, caiu por um precipício abaixo. Ao ver a morte diante dos seus olhos, D. Fuas invocou a Virgem, que terá parado o cavalo antes do equídeo resvalar pela escarpa.
Para agradecer o milagre, D. Fuas Roupinho ordenou a construção da Ermida da Memória, venerada desde essa época.
Segundo a lenda da Nazaré, a imagem deu assim nome ao local onde foi encontrada: Sítio de Nossa Senhora de Nazareth, que deu origem ao nome final Nazaré.