FS Data Blogg

Redovisning av dagens strömavbrott

Publicerat den 7 november, 2011 av Jonathan Sulo. Lagrat i Drift

Vi upplevde idag ett av de största avbrotten under FS Datas 14 år långa historia. Det var en extremt olycklig och oväntad händelse, något som vi hoppas (och kommer att arbeta för) att vi slipper vara med om igen. Här kommer en redovisning av dagens strömavbrott hos oss.

Strax innan kl 14:00 drabbades våra serverhallar i Helsingborg av ett omfattande strömavbrott. Detta skedde i samband med ett regelbundet test av våra dieselaggregat, ett test som vi har utfört ett flertal gånger tidigare utan några problem. Till varje dieseltest tar vi in en specialiserad tekniker som utför testerna.

Vi har inte fastställt exakt orsak till strömavbrottet än, då vi främst har fokuserat på att återställa samtliga servrar och tjänster, men den främsta teorin är att det uppstod ett jordfel som orsakade en kortslutning och slog ut all teknisk utrustning i våra serverhallar.

Så snart allt är återställt så kommer vi att undersöka detta, med de specialiserade serviceteknikerna, för att fastställa exakt orsak och åtgärda det permanent. Ett avbrott som detta ska absolut inte få ske hos oss igen.

När strömavbrottet skedde inställde sig samtliga tekniker och påbörjade arbetet med att kontrollera all utrustning och återställa alla servrar, tjänster och nätverksutrustning. När avbrottet uppstod så slutade vår hemsida och telefonväxel att fungera, så vi kommunicerade flitigt via både Twitter och Facebook.

Våra tekniker delade upp sig i lag och återställde våra olika typer av tjänster. Vi fick snabbt upp vår hemsida, telefonväxel och kundsystem, för att kunna bemöta och informera våra kunder. Våra Linux-baserade webbhotellsservrar kom likaså rätt snabbt online igen, tillsammans med co-location och dedikerade servrar samt VPS:er.

Om ni har en dedikerad server eller VPS hos oss som inte fungerar än, meddela då vår kundtjänst om detta.

Vårt Exchange-baserade e-postsystem återställdes därefter. Denna SAN-baserade lösning tog lite längre tid på sig, tack vare dess komplexitet, men ingen e-post ska ha gått förlorad under strömavbrott då inkommande e-postmeddelanden köades externt och levererades till vårt e-postsystem när detta var uppe igen.

Den sista stora servertjänsten att återställas var våra Windows-baserade webbhotellsservrar. Det berodde på att ett gemensamt iSCSI-gränssnitt gick sönder under strömavbrottet, vilket våra tekniker återställde via en backup. Denna operation var dessvärre rätt så tidskrävande.

I denna stund ska samtliga servrar och tjänster hos oss åter vara uppe. Våra drift- och supporttekniker har gjort en enormt stark insats här under dagen och kvällen. Samtliga ärenden som inkom under avbrottet är hanterade och besvarade. Om ni ändå upplever några felaktigheter så har vi personal på plats ikväll fram till kl. 22:00.

Som tidigare angivet så kommer vi att utföra en ordentlig intern utredning av dagens strömavbrott och både se till att fastställa och motverka dess orsak, samt vidta ytterligare åtgärder för att förbättra dialogen med våra kunder vid sådana här händelser.

Med absolut säkerhet så kommer framtida dieseltester att utföras nattetid här framöver. Givetvis med ordentlig information i förväg till våra kunder. Återigen, sådana här händelser ska absolut inte få inträffa. Vi vill be så hemskt mycket om ursäkt för detta.

Om ni har något att tillägga så får ni hemskt gärna kontakta vår kundtjänst eller lämna en kommentar här.

  • Pingback: Bevis pÃ¥ kundnyttan med social media - Sociala medier, Webbtjänster

  • http://twitter.com/danielcroona Daniel Croona

    Min uppfattning är att en måndag kl 14.00 måsta vara en av de sämsta tänkbara tiderna under veckan för att genomföra den här typen av tester där det finns risk för driftstopp.

    Skulle ni kunna utveckla ert resonemang när det gäller val av tidpunkt?

    • Anonym

      Din uppfattning är, med facit i hand, helt korrekt. Sedan mer än 3 år tillbaka utför vi dessa dieseltester en gång i kvartalet, med särskilda servicetekniker på plats. Vi har aldrig tidigare råkat ut för en incident som denna.

      Det här var en väldigt olycklig lärdom för oss. Som vi skrev i inlägget sÃ¥ kommer framtida dieseltester kommer aldrig att utföras vid denna tidpunkt, utan förläggas till tidig morgon (00:00 – 05:00), med tydlig information i förväg till vÃ¥ra kunder.

      • http://twitter.com/danielcroona Daniel Croona

        Jag missade den sista delen angående tidpunkter för detta i framtiden. Det låter som en klar förbättring. Tack!

  • Pingback: Bevis pÃ¥ kundnyttan med social media | | Sennbrink NETSennbrink NET