IT-viikko: OP-pankin viat johtuivat Tiedon konesalista

Kuvakaappaus/ op.fi

Kirjoitin eilen OP-Pohjolan häiriöstä, ja epäilemästäni vian aiheuttajasta. Tänään IT-viikko uutisoi, että vika todellakin oli Tiedon järjestelmissä:

OP-Pohjolan järjestelmävika on paikallistettu. Vika johtuu Tiedon konesalista ja sen tietoliikenteestä.
Finanssikonserni on ostanut käyttöpalvelut tietotekniikkatalo Tiedolta. Yhtiöillä on yhteisyritys Finanssidata. Tiedon konesaleissa pyörivät OP-Pohjolan järjestelmät.

Vika saatiin korjattua tänään aamuyöstä, ja OP-Pohjolan tietohallintojohtaja Marco Halén kertoo IT-viikon jutussa, että OP-Pohjola tulee vaatimaan Tiedolta korvauksia asiaan liittyen. Halén kertoi jutussa, että:

Palvelun luonteesta johtuen järjestelmä on rakennettu niin, että palvelut pyörivät kahdessa konesalissa. Jostain syystä konesalien välinen tietoliikenne ei toiminut.

IT-viikon uutisointi ei anna kovinkaan tarkkaa kuvaa itse viasta, mutta Osuuspankin verkkosivujen tiedotteessa sen sijaan kerrotaan yllättävän tarkasti tilanteesta:

Häiriön syy oli poikkeuksellinen virhetilanne konesalissa. Häiriön syytä ei vielä ole kyetty täysin selvittämään. Todennäköisin syy tällä hetkellä näyttää olevan verkon kytkin, joka on asetettu (konfiguroitu) väärin. Verkon kytkin jakaa verkon liikennettä. Jos se ei toimi, tieto ei liiku verkossa.

Myös yllättäen, ja toisin kuin arvelin eilisessä kirjoituksessani, OP osoittaa julkisesti syyttävällä sormellaan Tietoa:

Kuka vastaa verkon toiminnasta?
Tieto Finlandilla on vastuu OP-Pohjolan tietoverkon rakentamisesta, toiminnasta ja mahdollisten virheiden korjaamisesta.

Tiedon logo/
Tieto

Hieman jää mietityttämään tämä kaksi konesalia -skenaario. Voisiko olla niin, että OP-Pohjola halusi – kuten voisi ajatella järkevää olevan – palvelunsa kahdennettua niin, että vaikka toinen sali katoaisi verkosta (tai yhteys toisesta toiseen katkeaisi), homma pelittäisi. Sitten Tieto on toteuttanut homman niin, että eri komponentit on jaettu eri konesaleihin ilman minkäänlaista tämän tason replikointia. Paperilla kaikki näyttää hyvältä, tyyliin ”uu jeah kaks konesalia”, mutta kun jotain räjähtää, mikään ei toimi.

Tällaista skenaariota voisi verrata siihen, että halutaan kahden levyn RAID-1¹, mutta todellisuudessa asetetaankin RAID-0¹. Tällöin voidaan vastata kyselyihin ”Onko siinä nyt se RAID?” kirkkain silmin: ”joo joo”. Sitten kun toinen levy poksahtaa, on kaikki rikki ja hajalla, vaikka niin ei pitänyt käydä.

Mainittakoon vielä, etten todellakaan tunne OP-Pohjolan järjestelmiä, ja heitin edellä vain tällaisenkin ajatuksen ilmaan.

Openclipart

En tiedä, mikä saa ”kaikki” suomalaiset suuret yritykset ja yhteisöt hankkimaan palvelunsa Tiedolta. Olisiko niin, että Suomessa on liian vähän kilpailua? Sitten kun yritykset pyrkivät ulkoistamaan kaiken mahdollisen, varsinkin IT:n puolella, tulokset ovat yleensä mitä ovat, sillä syvällinen tuntemus järjestelmiin puuttuu.

Mielestäni tällaisissa yhteiskunnan kannalta melko tärkeissäkin järjestelmissä ei kannattaisi ylipäänsä lähteä sille tielle, että yritetään ulkoistamalla hakea säästöjä, sillä kuten tämäkin esimerkki opettaa, ne säästöt ovat vain väliaikaisia. Kun hommia tehtäisiin ”ihan itte”, alusta loppuun, luotaisiin suomalaiselle IT-alalle lisää työpaikkoja, mikä on melko kestävää kehitystä mielestäni. Enkä minäkään pahakseni pistäisi, vaikka töitä tältä alalta saisinkin.


1) Lisätietoa RAID:ista, Wikipedia

OP ja Pohjola nurin, mikä mättää?

Kuvakaappaus/ op.fi

Mediassa on tänään uutisoitu [Iltalehti.fi; IT-viikko] OP-Pohjolan verkon kaatumisesta, joka kaatoi Osuuspankin ja Pohjolan verkkosivut, esti korttiostot ja jopa sulki osan konttoreista. Tätä kirjoitettaessa ei ole vielä julkisuudessa selvää, mikä tarkalleen ottaen on rikki, miksi ja milloin se saadaan korjattua.

Kuitenkin IT-viikon jutun kommenteissa esitetään syylliseksi Tietoa, joka on tässäkin blogissa useampaan otteeseen esiintynyt erinäisten teknisten ongelmiensa tähden.

Kun Suomessa tietojärjestelmien kanssa tapahtuu ”jotain legendaarista”, on yleensä arvattavissa että tavalla tai toisella Tiedolla, entisellä TietoEnatorilla, on sormensa pelissä. Näin oli mm. Sampo Pankin verkkosivu-uudistuksessa, sähköisessä äänestämisessä, yhteishaun kouluta.fi:ssä, ja seurakuntavaalien tulospalvelussa.

Tiedon logo/
Tieto

En nyt sano, että viat olisivat välttämättä joka kerta johtuneet nimenomaan Tiedosta – sillä toteuttaahan isoja kokonaisuuksia useampi taho kukin omalta osaltaan – mutta sellaisenkin johtopäätöksen voisi joku vetää, ettei Tiedon mukana häärääminen ainakaan paranna palvelun tai muun toteutuksen toimivuutta.

Julkisuudessa syyllistä saadaan tämän suhteen todennäköisesti kuitenkin turhaan etsiä, sillä OP-Pohjola tai vian aiheuttaja – olkoon kuka tahansa – ei siitä millään lailla hyödy. Sen sijaan OP-Pohjolan norsunluutorneissa varmasti ollaan hyvinkin perillä siitä, mitä kulissien takana tapahtuu.

(Openclipart)

Asian selventämiseksi täytyy siis ryhtyä tekemään salapoliisityötä. Kuvittelisin, että tässä taustalla on nimenomaan ongelma verkkosivuihin ja/tai verkkoyhteyksiin liittyvässä toteutuksessa. Op.fi antaa IP-osoitteeksi 157.124.22.23 ja pohjola.fi 157.124.22.32. Whois-tietojen mukaan IP-alue 157.124.0.0-157.124.255.255 kuuluu OP-Pohjola Group Central Cooperativelle, ja mnt-by (maintained by, hallitsija)-kentässä lukee TE-ENERGY-NOC, jossa TE viittaa Tiedon edelliseen TietoEnator-nimeen. Eli kyllä, jollain tavalla tässäkin Tiedolla on osansa.

Tiedon verkkosivuilla on myös oma casensa OP-Pohjolalle (englanniksi). Case liittyy muutaman viikon takaiseen migraatioon, joka ei silloin aiheuttanut muutaman tunnin odotettua katkosta pidempää häiriötä. Voisiko olla, että jokin tuossa on mennyt pahemman kerran pieleen näyttäytyen vasta nyt? Todennäköisesti.

Tieto on muuten ollut toteuttamassa keissiensä mukaan myös mm. Automatian (Otto-automaatit), If-vakuutusyhtiön ja Nordean IT-ratkaisuja. Saa nähdä, milloin niiden ”kaikki” on nurin ja kuka silloin on vastuussa vioista.


Disclaimer: Haluan tässä korostaa vielä, ettei minulla ole mitään vedenpitäviä todisteita Tietoa vastaan tässä asiassa, vaan esitän oman valistuneen arvaukseni asiaan. Jos jokin asia on mielestäsi väärin tai olet mielestäsi muuten enemmän oikeassa, oikaise toki asiaa kommenteissa niin korjaan tekstiä sen mukaan. Myös muutenkin sydäntään saa purkaa kommentteihin, kuten aina.