Durante el periodo colonial, La Serena enfrentó el constante temor a ser atacada por piratas. Entre 1680 y 1686 se registraron los ataques más devastadores, producidos por Bartolomé Sharp y Edward Davis, respectivamente, lo que llevó a sus habitantes a tener la intención de refundarla en un lugar más seguro. Ello no prosperó, por lo que comenzaron un trabajo de amurallamiento en la zona sur de la ciudad, el flanco más vulnerable ante un nuevo ataque.

Los lados norte y poniente tenían las defensas naturales de las Barrancas del Río y del Mar. Al oriente estaba tutelado por el cerro Santa Lucía, sectores que tenían además, defensas de artillería con cañones muy similares a los usado en la Revolución Constituyente de 1859.

A diferencia de otros, el muro de La Serena sólo fue de adobes almenados y protegía a la ciudad desde la Quebrada de San Francisco (hoy Avenida de Aguirre) hasta la actual calle El Santo. Comenzaba desde la vereda sur de lo que hoy es Avenida de Aguirre con El Santo, seguía al Oriente por la Quebrada San Miguel (actual calle Amunátegui) hasta Larraín Alcalde y desde ahí en diagonal por el llamado Cinco de Queso hasta Pení.

La Portada, construida en 1871, fue el único acceso de La Serena durante su amurallamiento. Sobre ella se ubicaba el escudo de la ciudad que hoy se exhibe en el frontis de la Municipalidad. Su llave y clavos originales son parte de la colección del Museo Gabriel González Videla, los cuales representan los únicos vestigios de esta puerta. Esta arquitectura es un verdadero emblema dentro de la historia serenense, tanto así que su estadio recibió el nombre de este pórtico de piedra.

Según Manuel Concha, en su libro “Crónicas de La Serena”, esta hermosa Portada, de forma similar a un arco de triunfo, tenía además en su frontis interior el escudo con las armas reales de la corona española y las iniciales del rey Fernando VII.

En toda la extensión de la muralla hubo cinco baluartes fortificados, pequeñas torres de vigilancia, cada uno bautizado bajo el nombre de un santo, como era la tradición española de la época. Se ubicaron desde la Quebrada de San Francisco hasta lo que hoy es Avenida El Santo con Amunategui. En este orden sus nombres fueron San Francisco, San Fernando, San Carlos, San Miguel y San José.

Cada uno de los baluartes, fueron dotados de cañones que infundían respeto entre quienes se acercaban. Estas piezas de artillería finalmente no habrían sido usadas y cayeron en el abandono hasta llegar a inutilizarse a comienzos del 1800. Su estado quedó descrito en el libro “Crónicas de La Serena” de Manuel Concha, que detalla la investigación posterior de los tenientes José Pérez de la Mata y Mariano Peñafiel.