Durante el periodo colonial, La Serena enfrentó el constante temor a ser atacada por piratas. Entre 1680 y 1686 se registraron los ataques más devastadores, producidos por Bartolomé Sharp y Edward Davis, respectivamente, lo que llevó a sus habitantes a tener la intención de refundarla en un lugar más seguro. Ello no prosperó, por lo que comenzaron un trabajo de amurallamiento en la zona sur de la ciudad, el flanco más vulnerable ante un nuevo ataque.
Los lados norte y poniente tenían las defensas naturales de las Barrancas del Río y del Mar. Al oriente estaba tutelado por el cerro Santa Lucía, sectores que tenían además, defensas de artillería con cañones muy similares a los usado en la Revolución Constituyente de 1859.
A diferencia de otros, el muro de La Serena sólo fue de adobes almenados y protegía a la ciudad desde la Quebrada de San Francisco (hoy Avenida de Aguirre) hasta la actual calle El Santo. Comenzaba desde la vereda sur de lo que hoy es Avenida de Aguirre con El Santo, seguía al Oriente por la Quebrada San Miguel (actual calle Amunátegui) hasta Larraín Alcalde y desde ahí en diagonal por el llamado Cinco de Queso hasta Pení.