Částečný výpadek DNSSEC u Wedos

Ze včerejška na dnešek řešil WEDOS částečný výpadek u .cz domén, které využívají DNSSEC. Podle oficiálních zpráv se dotkl 3 – 5 % návštěvnosti (původně bylo odhadováno až 10 %).

Co se stalo

Prozatím se čeká na oficiální vyjádření. Počítám že se k problému vyjádří vedení společnosti s odstupem několika dnů v samostatném článku, který vyjde na datacentrum.wedos.com, podobně jako tomu bylo u útoků na IPv6 v srpnu minulého roku. Máme tedy zatím jen spekulace.

Víme že problém byl v DNSSEC a týkal se všech .cz domén, které jej využívají. Podle testu dnscheck.labs.nic.cz, který jsem provedl na doméně pokestop.cz 2017-04-03 23:41:26 byl problém ve vypršení platnosti certifikátu.

Vzhledem k vypršení platnosti certifikátu, pak může váš DNS resolver (server, kterého se ptáte jakou IP adresu má server, kam směřuje doména), vyhodnotit DNSSEC záznam jako neplatný a vrátit chybu. Samozřejmě za předpokladu, že DNSSEC vůbec řeší.

Proč se to stalo prozatím nevíme, ale Wedos se to rozhodl řešit přegenerováním certifikátů. Můj web byl dostupný z Google DNS zhruba o půlnoci. Podle záznamů z administrace mi byl přegenerován certifikát 03.04.2017 23:59:39. U jiné domény jsem si jej přegeneroval sám podle postupu, který byl uveden v administraci a na sociálních sítích. Zhruba za 20 minut už web fungoval.

Jak se to projevilo

Pro ty, jejíchž resolver ověřuje platnost DNSSEC nefungovali .cz domény na Wedos. Prohlížeč vracel chybu:

Tento web není dostupný
Adresa DNS serveru pokestop.cz nebyla nalezena.
ERR_NAME_NOT_RESOLVED

Dále se vyskytl problém s emailovými službami. Mailserver Wedos, totiž ověřuje zdali je doména, z které odesíláte email platná. Jinak jste obdrželi chybu:

Chyba SMTP (450): Nelze přidat příjemce "test@seznam.cz" (4.1.8 <admin@pokestop.cz>: Sender address rejected: Domain not found)

Emaily minimálně přes mail() přicházely normálně. WordPress mi průběžně oznamoval nové komentáře a komentáře ke schválení. Takže nepředpokládám, že byste přišli o nějaký email. Pouze bylo třeba je posílat jinak anebo přes jiný SMTP.

Koho to postihlo

Postihlo to všechny, kteří využívají DNS resolver ověřující platnost DNSSEC. Podle Wedos to bylo 3 – 5 % noční návštěvnosti. Jmenovitě lidé, kteří mají nastavené DNS Google (8.8.8.8 a 8.8.4.4) a operátor O2, který Google DNS využívá. Situace tak trochu připomínala velký výpadek Google z listopadu minulého roku. Tehdy kdo využíval DNS Google tak mu v podstatě několik hodin nešel internet. Možná i díky tomu nemělo oblíbené Google DNS nastavené tolik lidí.

Podařilo se mi dohledat veřejný graf přenosů uložený 28.03.2017 z Wedos (mám robota co ukládá všechny veřejné grafy hostingů) a porovnal jsem jej s dnešním. Sice to není moc přesné, protože před týdnem se na internetu děly jiné události a také je to mix všech služeb Wedos (většinu přenosů dělají VPS, kterých má Wedos přes 6 tisíc), ale počítám, že od  23:00 – 24:00 v běžný pracovní den už ten provoz není tak odlišný. Po půlnoci se zálohuje a pak přijdou na řadu aktualizace (u těch se toho asi ven moc neposílá). Nějaký výraznější výpadek tam však není. Pokud by spadl všechen hosting (cca 87 tisíc), tak by ten graf vypadal určitě jinak.

Závěr

Z celého incidentu vyplynulo několik zajímavých závěrů. Předně že můj monitoring UptimeRobot nenahlásil chybu. Takže pokud chcete mít dokonalý přehled je třeba mít monitoring co nejen zvládne sledovat web z více lokalit, ale také bude kontrolovat DNSSEC.

Pokud je hodnota 3 – 5 % pravdivá, což by podle grafu výše bylo i reálné. Tak nám je vlastně k ničemu, že DNSSEC používá přes 50 % .cz domén, protože jej ISP prostě ignorují a to je na pováženou.

EDIT 13.04.2017 – Oficiální vyjádření najdete na https://datacentrum.wedos.com/a/371/vysvetleni-situace-ohledne-dnssec-dne-4-4-2017.html