Bramsnæsvig har gennem århundrede været kendt som et godt fiskevand. Fra 1500-tallet til1800-tallet blev der hvert forår drevet intensiv fangst af marsvin i vigen. Kombineret med sprængninger og udspændt garn, blev marsvinene drevet ind i den lavvandede Bramsnæsvig til slagtning. Herefter blev der kogt tran af deres tykke spæklag til Københavns daværende gadebelysning.

Dampskibet Ourø, som sejlede slagtesvin fra Orø til Holbæk Slagteri, fik i 1903 udvidet sinrute til Ejby Havn. Dampskibet tog også passagerer med, og man kunne fra dækket ovenpå høre grisene grynte nedenunder. Ruten blev efter ca. 20 år udkonkurreret af lastbiler og nedlagt, hvorefter Ejbyfiskerne overtog anlægsbroen.

Fiskerne på Ejby Havn byggede syd for anlægsbroen, kort tid efter overtagelsen, en pælebro, som blev betegnet som Søndre Bro. Her lå røgtejoller til bundgarnsfiskeri, robåde og små motorbåde. Pælebroen blev i 1941-43 erstattet af den nuværende stenmole med bolværk. Her var ålebassiner med rindende ferskvand, ophalerbedding med hånddrevet spil, og et rigtigt havnefyr, samt lys på molerne og havnepladsen.

Efter erhvervsfiskeriets afslutning i 1960’erne, fanger fiskerne stadig rejer, skrubber, rødspætter, ørreder, hornfisk, samt sild og ål i Isefjorden. I 1990’erne blev her herudover drevet succesfuld østersproduktion fra havnen. Over sommeren 2016 blev havnen restaureret med nye fiskerhytter, bygget ved frivillig arbejdskraft af Ejby Brolaug.