Restauranten har haft til huse på Esbjerg Havn siden midten af 1900-tallet. Sultne søfolk har lige siden fået stillet både sult og tørst, når de er trådt over dørtærsklen til den karakteristiske restaurant.
I starten var det særligt fiskere, men havnens udviklingen har naturligt gjort, at offshore-folket i stigende grad har indtaget Restaurant Sydvesten – eller nærmere den danske mad, som bliver serveret.