Povijest muzeologije u Puli starija je od osnutka Muzeja grada Pule 1902. godine. Utemeljenju prve muzejske ustanove u Puli u prvim godinama 20. stoljeća prethodilo je prikupljanje kamenih spomenika koji su ležali nezaštićeni po gradu i njegovoj bližoj okolici te njihovo smještanje u Augustov hram na Forumu.
Otkriće brojnih kamenih, keramičkih i metalnih predmeta u obližnjem Nezakciju, u istraživanjima koje je provodilo 1900. i 1901. godine Istarsko društvo za arheologiju i zavičajnu povijest (Società Istriana di Archeologia e Storia Patria), bilo je osnova za utemeljenje Muzeja starina (Museo d'antichità), odnosno Muzeja grada Pule (Museo Civico della Città di Pola) 1902. godine. Njegovo je sjedište bilo u zgradi koje danas nema, na Usponu sv. Stjepana, nedaleko od Slavoluka Sergijevaca.
Spajanjem s Državnom gradskom zbirkom (kameni spomenici) i porečkim Provincijalnim muzejom (Museo Provinciale), godine 1925. prerasta u ustanovu pokrajinskog značaja pod nazivom Kraljevski muzej Istre (Regio Museo dell'Istria). Bogatstvo zbirki nametnulo je potrebu za novim prostorom pa je nekadašnja zgrada Državne njemačke gimnazije na istočnoj padini središnjeg gradskog brežuljka Kaštela, izgrađena 1890. godine, prilagođena novim potrebama ovog muzeja, koji je otvoren za javnost 1930. Godine 1947. ustanova mijenja ime u Arheološki muzej Istre i u istom sjedištu kontinuirano djeluje do danas.
Nakon Drugog svjetskog rata, za vrijeme angloameričke uprave većina predmeta prenesena je u Italiju. Sustavnim radom i uz velike napore, nakon restitucije dijela arheološke građe iz Italije 1961. godine izrađena je koncepcija cjelokupnog muzejskog fundusa. Godine 1968. otvoren je preuređeni lapidarij u prizemnim prostorijama i hodnicima muzeja, a 1973. otvorene su izložbene dvorane prapovijesti te antičke, kasnoantičke i srednjovjekovne izložbe. Godine 2013. započela je adaptacija zgrade i dogradnja matične zgrade muzeja, koja je završena 2021. U pripremi je novi stalni postav muzeja.
