Dopo l’unità d’Italia, e precisamente nel 1863, le carte delle passate magistrature esistenti in Ancona - quali la Delegazione apostolica, la Prefettura napoleonica, gli organismi governativi provvisori e straordinari e le corporazioni religiose soppresse - vengono concentrate nella sede dell’ex convento di Santa Palazia. Si costituisce così il primo nucleo documentario di quello che sarà l'Archivio di Stato di Ancona.
Il R.D. n. 605 del 30 dicembre 1871 istituisce a Roma, alle dipendenze del Ministero dell’Interno, un Archivio di Stato per il Lazio, l’Umbria e le Marche: il materiale documentario della provincia di Ancona entra così a tutti gli effetti a far parte del patrimonio archivistico nazionale, pur restando per lungo tempo ancora affidato alla Amministrazione provinciale.
Nel 1880 tutto il patrimonio archivistico viene trasportato in un fabbricato annesso alla caserma dei Carabinieri di proprietà dell'Amministrazione provinciale stessa e successivamente, nel 1886, trasferito al Palazzo di Giustizia, in alcune stanze sotto tetto.
Intanto, mentre la legislazione dà un quadro sempre più organico agli Archivi di Stato fino a quel momento istituiti, su richiesta dell’Amministrazione provinciale di Ancona e in seguito a una convenzione tra Stato e Provincia, il 14 maggio 1919 viene istituito l’Archivio provinciale di Ancona, sul modello di quelli già esistenti nell’Italia meridionale.
Il R.D. 22 settembre 1932, n. 1391, sancisce il passaggio degli archivi provinciali all’Amministrazione archivistica statale, e successivamente la L. 22 dicembre 1939, n. 2006 , istituisce un Archivio di Stato in ogni capoluogo di provincia. Tuttavia è solo nel 1941, con Decreto Ministeriale del 18 maggio, che è istituita ad Ancona una “Sezione di Archivio di Stato” (così si chiamavano gli istituti che avevano sede in capoluoghi non capitali di stati preunitari). L'istituto inizia a funzionare nel giugno del 1942, restando peraltro negli stessi locali e con lo stesso materiale documentario dell’Archivio provinciale.
In realtà, però, lo stato di guerra ne ostacola la crescita e lo sviluppo; negli anni 1943-1945 i locali dell’Archivio vengono danneggiati dai bombardamenti aerei e il materiale documentario, ridotto ad un ammasso informe, deve essere in seguito riordinato carta per carta.
E' solo nella fase post-bellica che l’istituto inizia effettivamente a vivere e ad assolvere i compiti che gli sono affidati: si arricchisce nel 1950 per il versamento dell’Archivio notarile distrettuale di Ancona, nel 1954-1955 riceve materiale dalla Corte di Appello, dal Tribunale e dalla Pretura, mentre l’Ufficio provinciale di Leva effettua una serie progressiva di versamenti dal 1953 al 1960.
In seguito, per effetto del DPR 1409 del 30 settembre 1963, l’istituto anconitano non solo vede cambiata la propria denominazione in “Archivio di Stato” come tutti gli altri istituti analoghi sul territorio nazionale, ma vede altresì aumentato il proprio organico, al punto che gli uffici devono essere allestiti in alcuni locali in Piazza Stamira, separati quindi dai depositi che restano presso il Palazzo di Giustizia.
La situazione, abbastanza anomala, viene definitivamente risolta nel 1970 con il trasferimento nei locali di Via Maggini, dove l’istituto attualmente ha sede e dove, secondo i termini stabiliti dalla legge, ulteriori fondi archivistici sono versati accrescendo la consistenza del patrimonio documentario da conservare.
Nel 1972, a seguito dei noti eventi sismici che hanno colpito la città, il Comune di Ancona porta in deposito presso l’Archivio di Stato il proprio archivio storico, la cui documentazione è fonte indiscussa di notizie per la storia cittadina dal XIV fino al XIX secolo.
A partire dal 1973 l’Archivio di Stato di Ancona può avvalersi di un istituto satellite, la Sezione di Archivio di Stato di Fabriano, istituita con decreto ministeriale del 27 dicembre1973, in considerazione dell’importanza del centro fabrianese. Nel 2013 la Sezione è stata però chiusa e il materiale documentario è confluito nella sede di Ancona, ad eccezione del cessato catasto di Fabriano e di alcune località limitrofe che è attualmente depositato presso il Comune di Fabriano e consultabile presso la Biblioteca Comunale.
Infine, nel 1975 l'Archivio di Stato di Ancona passa alle dipendenze del Ministero per i Beni culturali e ambientali, oggi Ministero della cultura, di cui gli Archivi di Stato sono l’espressione periferica più diffusa sul territorio nazionale.