Berichtgeving Email storing

Zaterdag 13:45, alle Emailsystemen zijn weer beschikbaar.

Eén van onze Email servers hebben wij ondergebracht bij een regionaal datacenter. Hier heeft zich op vrijdag 17 december om 14:32 een grote calamiteit voorgedaan. Onze systemen en de data op onze systemen is hierbij niet direct in gevaar geweest. Om 14:32 is plotseling de gehele stroom voor het datacenter weggevallen. Klaarblijkelijk hebben de gescheiden stroomtoevoeren, dubbele noodstroom UPS systemen en dubbele aggregaten allen gefaald. Door deze eerste stroomuitval is de betreffende back-end mailserver plotseling uitgeschakeld. Dat is niet fijn en ook vooral niet gewenst, echter in veel gevallen geeft dit geen problemen. Na contact met het datacenter (dit duurde enige tijd omdat ook de telefonie en website van het betreffende datacenter was uitgevallen) hebben wij de bevestiging gekregen dat de storing onder controle was. Wij zijn toen direct gestart met het opstarten van onze systemen. Dit vond plaats om 15:10. Tot op enig moment leek dit goed te gaan en zouden we zijn geconfronteerd met een storing van c.a. 35 minuten. Echter juist op dat moment trad een tweede calamateit op in het datacenter, waardoor alle stroom weer wegviel. Nu werden de betreffende systemen uitgeschakeld precies gedurende het opstartproces. Dit kan problemen geven. Dit bleek ook zo te zijn. Op één van de back-end servers is een corruptie van de databases opgetreden.

Op vrijdagavond om c.a. 18:00 was ons duidelijk wat de omvang van de corruptie was en zijn door ons een aantal scenario's uitgewerkt. Omdat de eerste storing laat op de dag heeft plaatsgevonden was het recoveren van de laatste backup in eerste instantie niet gewenst. Wij hebben toen gekozen om de mail wat langer offline te houden en een database herstel uit te voeren.

Op zaterdag 13:45 was het herstel afgerond en konden alle database worden vrijgegeven. Alle mail die gedurende de storing is binnengekomen, is door de front-end systemen vervolgens alsnog verwerkt.

Kortom een lange maar leerzame nacht. Wij gaan nu in overleg met het datacenter om dit in de toekomst uit te sluiten. Daarnaast zullen wij vragen of in dit soort gevallen beter gecommuniceerd kan worden richting ons, zodat wij onze klanten ook beter kunnen informeren.

Wij hebben zelf, vanaf vandaag, een Twitter account waarop wij, met ingang van vandaag, ook de voortgang van o.a. het geplande en niet-geplande onderhoud continue zullen communiceren. Wij zijn op Twitter te vinden onder iTebus.