Kolonija rimskih građana Iulia Pola Pollentia Herculanea osnovana je 46. - 45. pr. Kr., u doba Cezarove diktature, na mjestu starijeg histarskog gradinskog naselja usred prostranog zaljeva s četiri otočića. Jedan od prvih poteza nakon donošenja odluke o utemeljenju kolonije bila je izgradnja gradskih bedema. Bedemi su okruživali podnožje gradinskog brežuljka slijedom obalne crte. Izgrađeni su od lomljenih komada vapnenca i okrečeni vapnenom žbukom, a širina im se u dnu kreće oko 2,20 - 2,50 m. Prema vrhu su se postupno sužavali u građevinskim stopama s unutarnje strane. Imali su 12 vrata utvrđenih kulama. Na kopnenoj strani bila su gradska vrata danas poznata pod imenima Vrata sv. Ivana, Dvojna vrata (porta Gemina), Herkulova vrata i Zlatna vrata (porta Aurea).
Herkulova vrata jedina su sačuvana u najstarijem obliku, onakva kakva su podignuta krajem rimske republike. Građena su tehnikom karakterističnom za rimsko kasnorepublikansko graditeljstvo, u obliku jednolučnog prolaza uokvirenog masivnim blokovima nejednake širine. Vrata su zakošena u odnosu na bedem. Takav smještaj odraz je tisućljetnog graditeljskog iskustva po kojem su ukoso postavljeni ulazi prisiljavali napadača da izloži nezaštićenu stranu braniteljima. Na vrhu luka prikazane su u reljefu bradata Herkulova glava i toljaga okovana čavlima, a pored toljage s lijeve strane uklesan je neuokvireni natpis s imenima dvojice prvih duumvira, Kalpurnija Pizona i Kasija Longina, rimskih senatora i pripadnika Cezarova najužeg osobnog kruga. Iznutra su Herkulova vrata naknadno pojačana obrambenim hodnikom.
Dvojna vrata očuvana su u obnovljenom obliku iz ranocarskog razdoblja. Sadrže dva jednaka lučna prolaza povezana jedinstvenim arhitektonskim okvirom trapezoidnog tlocrta s polustupovima, arhitravom i bogato dekoriranim vijencem. Dva zaglavna kamena na lukovima nose utore za pričvršćivanje ukrasa, vjerojatno brončanih. Poput Herkulovih vrata, i Dvojna vrata su tijekom XVIII. st. zatrpana ruševinom bedema, izgubivši svoju funkciju.
Zlatna vrata dobila su ime po tome što su predstavljala glavni ulaz u rimsku koloniju. Ostaci gradskih vrata s bedemima stajali su do sredine XIX. st., kada su srušeni. Zlatna vrata su isprva bila jednostavan jednolučni prolaz zaštićen pravokutnim kulama. U doba Augusta izgrađena su trostruka vrata sa širim središnjim prolazom za kola i dva uža bočna prolaza za pješake, a pravokutne kule nadomještene su većim kružnim kulama. Stare grafike prikazuju uspon prema ulazu u grad ispred Zlatnih vrata. Iako se danas silazi nizbrdo kada se pristupa gradskom ulazu Zlatnih vrata, arheološka su istraživanja potvrdila prvobitni uspon i postojanje vanjskih zaštitnih zidova nastalih u srednjem vijeku. S unutrašnje strane Zlatnih vrata potkraj Augustove vladavine prislonjen je slavoluk obitelji Sergijevaca.
Gradski su bedemi tijekom srednjeg vijeka bili više puta obnavljani. Pritom je uz stari dodan i vanjski zid, u čije su temelje ugrađeni elementi rimskih nadgrobnih spomenika, ulomci stupova, arhitrava i vijenaca te sjedišta iz amfiteatra i teatra.