El año de 1474 marca un acontecimiento traumático que daría a Ólvega el sobrenombre de 'Segunda Numancia Soriana', hecho recordado en una pintura mural y leyenda en la ermita de la Virgen de los Mártires.
El trasfondo fue la política de donaciones de Enrique IV: la villa de Ágreda, con sus aldeas (incluida Ólvega), fue objeto de dos intentos de donación a sendos señores, ambos frustrados por el levantamiento de los habitantes contra la disposición. En una tercera donación, aunque posteriormente revocada por el rey, el conde de Medinaceli intentó tomar posesión. Aunque la lápida mural de la ermita de los Mártires habla de 'Agartón de la Cerda', según la Crónica de los Reyes de Castilla se trataba en realidad de Don Luis de la Cerda, un hijo suyo, quinto conde de Medinaceli.
Olvega se negó a obedecer al noble. Ante esta resistencia, el conde descargó toda su ira poniendo fuego a las puertas de una torre donde el pueblo se había hecho fuerte. Las llamas penetraron en el interior, declarándose un incendio tan voraz que todos perecieron abrasados. El conde abandonó esta 'Segunda Numancia' sin lograr la victoria. Los olvegueños que allí murieron fueron enterrados en una ermita que pasó a llamarse de los Mártires.
Este hecho se representa en el escudo de Ólvega con una torre almenada en llamas.