A sziget északi partján fekszik, az ókori minószi főváros, Knósszosz északnyugati szomszédságában. Ezért feltehető, hogy ebben az időben a palotabirodalom kikötője lehetett.

Mai nevét Heracleum ókori római kikötőről kapta, amely valószínűleg ugyanezen a helyen volt. A i. sz. 9. században a szaracén Kréta fővárosa volt, ekkor az arab Kandak („sáncárok”) nevet kapta, s ez torzult Candiává. A több ezer éves város korai történetére vonatkozóan csak töredékes emlékek utalnak.

Iráklio közelében fekszenek a minószi kultúra egyik központjának, a knósszoszi palotának a romjai. Emiatt nagyon valószínű, hogy itt már négyezer évvel ezelőtt is volt kikötő, ennek azonban semmilyen régészeti bizonyítéka nincs. Első ízben Sztrabón említi, mint Knósszosz kikötőjét. A város azonban nem játszott különösebben fontos szerepet sem az ókorban, sem az első bizánci időszakban.

A mai várost 824-ben a szaracénok alapították, akik a város védelmére sáncot építettek köréje és خندق [Ḫandaq]-nak, „sánc”-nak nevezték. A kikötőt a szaracénok a Bizánci Birodalmat innen nyugtalanító kalózok rendelkezésére bocsátották. 961-ben a bizánciak megtámadták, majd elfoglalva kifosztották és felégették a várost. A következő 243 évben a város bizánci kézen maradt.

1204-ben a velenceiek vásárolták meg azoknak az tárgyalásoknak eredményképpen, melyek során a negyedik kereszteshadjáratban a trónjától megfosztott II. Izsák Angeloszt visszahelyezték trónjára.

A város igazi felvirágzása ekkor kezdődött. Velence Candiát tette meg Kréta szigetének fővárosává, itt székelt a sziget kormányzására kinevezett herceg, itt volt székhelye, a Palazzo Ducale is. Kötelezték a sziget görög és velencei nemesurait, hogy palotát építtessenek itt és az év meghatározott részébe itt lakjanak. Krétát ebben az időben Európa szerte e városról Isola de Candiaként ismerték.

A török terjeszkedés veszélyének közeledtével Velence megszakítás nélkül dolgozott a kikötő és város megerősítésén. A mintegy három kilométer hosszú és hét nagy bástyával megerősített védmű képezte a város hatalmas erődítésrendszerét, melyek legtöbbje még ma is látható. Az óriási falak helyenként 40 méter vastagok. A kikötőt külön erőd védte.

A velenceieket a török uralom váltotta fel. Az Oszmán Birodalom serege 22 évig ostromolta Candiát. A véres harcok során harmincezer krétai és százhúszezer török esett el, míg végül város 1669-ben török kézre került. A hosszú török hódoltság alatt a várost Megalokasztró-nak nevezték. A törökök hagyták a kikötőt eliszaposodni, s így az itt vegetáló kis település, Megalokasztro kereskedelmi szerepe lehanyatlott és ezt a későbbi krétai főváros, a sziget északi partjának nyugatibb részén fekvő Hania város és kikötője vette át.

A török uralom 1897-ben ért véget, amikor a sziget görög lakossága föllázadt, és a Görögországgal való egyesítést követelte. Iráklion a krétai nemzetközi protektorátus része volt (1897–1913), előbb a független krétai állam, majd 1913-tól a Görög Királyság része lett. A függetlenség elnyerésekor a közelben létezett római kikötőre Heracleumra utalva a város nevét Heraklionra, Herkules városára változtatták.

Az 1941-es német ejtőernyős támadás, a „Krétai csata”, illetve az ezt követő megszállás idején a várost súlyos bombatámadások és rombolások érték. A II. világháború után a város fontos kereskedelmi és idegenforgalmi központtá fejlődött. Új kikötő, repülőtér és sok szálloda is épült, ez segített az idegenforgalom fellendülésében.