臺西鄉原名海口，明鄭時期已有漢人進入此地區開墾，清康熙23年（1684），臺灣劃分為一府三縣，海口隸屬於諸羅縣。雍正元年（1723）因人口逐漸增加，清政府原本規劃的行政劃分已無法負荷，為管理上的方便，便以虎尾溪為界，新設置彰化縣，原本的海口因位於虎尾溪之北，改隸屬於彰化縣，並以濁水溪出海口處泥沙淤積而形成的小島──海豐島命名為「海豐堡」。
乾隆60年（1795年）五條港一帶的漁民於海豐島捕魚時，拾獲載有「張李莫千歲」香火的王船，並於海豐島上奉祀。嘉慶11年（1806年）由瓦厝公館捐獻鹽田地一分四厘一毛，將張、李、莫三府千歲遷至五條港現址處奉祀。其後，因信徒眾多、香火鼎盛，已成為是當地居民的信仰中心。
 |
| 清代地圖中的海豐港地理位置。 （清董方立、李兆洛〈皇朝一統輿地全圖〉，清道光十二年（1832）） |
