WEDOS měl svůj první (více)hodinový výpadek

Většinou píšu o to co se děje ve světě hostingu jako jako jeden z prvních, ale tentokrát jsem měl i díky svému zainteresování(u Wedos mám na starosti posílání triček) celkem na pilno (dostal jsem další úkoly). Na rozdíl od většiny lidí, kteří zatím o tomto výpadku psalo tam mám 4 webhostingy, takže můžu psát i z pohledu zákazníka.

Co se stalo

V pátek jsem byl odvolit a zároveň jsem toho využil k nákupu. Domů jsem se tak dostal tuším před třetí hodinou. 404M mi nešel, tak jsem si myslel, že spadl internet. Zkusím tedy pingnout Seznam. V pohodě. Navíc se nemůžu připojit na interní síť wedosu. Tak pošlu hromadně SMSky klukům z podpory. Zavolal mi Dan (znáte jej z přednášky WP konference Hluboká), že je problém v serverovně a všichni tam jedou pomáhat. V podobném znění mi přišly i SMSky od ostatních kluků co měli zrovna volno (kdo neměl odpověděl až večer). Za pár minut mi zavolal i šéf Wedos Josef Grill (zrovna ve čtvrtek jel na dovolenou) jestli nemůžu do diskuzí a sociální sítě hodit nějaké info o výpadku, protože spadla administrace a nikdo nemůže psát ven. Navíc prioritou jsou služby zákazníků. Říkám ok není problém. Trochu jsem zaspamovoval a průběžně informoval, jak mi chodily další zprávy.

První ofic zpráva na Facebooku byla zavádějící. Kluci neměli přístup k datům venku ani administraci, takže to vypadalo, že vše postupně nabíhá. Někdo poslal jen zprávu na FB o výpadku serverů 10 + 2 minuty. Proč si to mysleli najdete níže přehledu výpadků.

Za pár hodin naskočily první weby a 404M samozřejmě jako naschvál poslední. Důležité weby kontroluju přes službu uptimerobot.com, takže o nedostupnosti z venčí mám přehled. Tabulku najdete v přehledu výpadků.

V sobotu se situace více méně opakovala. Nevím co se přesně stalo. Technicky zdatnější ať si přečtou oficiální vyjádření, které vedení ve spolupráci s techniky dávalo dohromady celý víkend. Tentokrát však došlo ke krizovému scénáři tak jak mělo a všechno naběhlo rychleji. Opět viz. Přehled výpadků níže.

Tím výpadky hostingů v podstatě končí. Co se týká ostatních služeb, tak jeden mail server bylo nutné dát do kupy, co se povedlo až ráno tuším v půl sedmé (anebo po sedmé). Všechny e-maily dorazily (či dorazí) se zpožděním anebo vrátí jako nedoručené (což by slušný mailserver udělat neměl a zkusit e-mail doručit opakovaně). Podpora dostala za úkol přes víkend pomáhat i se spuštěním zaseknutých VPS a obnova ze zálohy pokud došlo k problémům v důsledku výpadků je zdarma. Asi největší problém byly rozbité tabulky u několik zákazníků. Většinou postupně ve spolupráci s podporu je opravili anebo obnovili ze zálohy.

Přehled výpadků

Webhosting

Co se týká výpadků webhostinových služeb ty byly následující. Vše měřeno službou uptimerobot.com (měření probíhá každých 5 minut). Jedná se o součet.

Výpadky jsem zažil u všech provozovatelů služeb ať už českých anebo zahraničních. Nejhorší trval několik dní, takže jednou za čas jsem ochotný pár hodinový výpadek akceptovat. I když ten na 404M už byl celkem dlouhý. Na druhou stranu tři a půl roku jede Wedos celkem v pohodě.

VPSka

VPSka se nastartovala okamžitě po naběhnutí virtualizace. Ptal jsem se více lidí, kteří zde přímo hostují, jak to viděli z venku. Ve většině případů to bylo 20 – 40 minut (pátek). Ovšem pár lidem se to zaseknulo z různých důvodů po startu. Uvítali by tak alespoň SMSku – “Proběhl nucený restart Vašeho VPS, prosím zkontrolujte si jej.”

Dedikované servery

Osobně nikoho kdo hostuje dedikovaný server u Wedos neznám, takže nemůžu posoudit výpadek z jejich pohledu. Podle toho co jsem se ptal techniků měly nastartovat okamžitě, jakmile byla obnovena dodávka elektřiny.

Fámy o několikadenním výpadku

Na internetu se objevilo několik fám o několikadenním výpadku. Často od lidí, kteří zde ani nemají své služby – například údajný dvoudenní výpadek na kecykveci.cz. Takže jsem si vypůjčil screenshot přenosu dat z článku na Lupě, na kterém je vidět, že opravdu nebyl Wedos odříznutý od světa.

Tak nějak to viděli zřejmě lidi z Wedos, kteří neměli přístup k systému a nástrojům, proto poslali zprávu o výpadku serverů 10 + 2 minuty. Když se podíváte na modrou čáru je vidět, jak vše nabíhá (vpravo je pak sobotní výpadek). Večer když vše nastartovalo, tak se zveřejnila nová zpráva. Stará se mohla smazat, ale v rámci politiky nezamlčování, tam visí doteď.

Závěr

Od doby co využívám hostingové služby (2001) jsem zažil ledacos. Prošel jsem desítkami různých služeb a stále i různé využívám (Savana, Ebola, Aerohosting, Subreg (jen domény), GoDaddy, Dynadot a pár dalších). Problémy se dějí všude. Nestřídám služby po prvních problémech (vydržel jsem i rok a půl u AH :)). Za tu dobu jsem pochopil, že je lepší být u firmy, která umí řešit technické průsery, když už se stanou. Ten u Wedos byl velký a zvládl se dobře.

Vezmeme si to dobré

U Wedos se poučili, že zákazníci druhé dekády 21. století chtějí být o všem informování ideálně online v přímém přenosu (proč ne že?). Což do příště není problém jistě zajistit. Udělá se záložní stránka někde jinde, která se zobrazí až se něco pokazí. Popřípadě se zařídí krizové přesměrování hovorů, kde ženský hlas odpoví, že se na všem pracuje. Víc lidí dostane přístupy k sociálním sítím a bude průběžně “děsit” zákazníky 🙂

Ohledně technických věcí, co se bude zlepšovat doporučuji oficiální zprávu. Vše zřejmě urychlí i stavbu nového Wedos datacentra 2.