Subreg (Gransy s.r.o.) čelí zatím své největší krizi

Společnost Gransy s.r.o., která je známá hlavně díky své službě Subreg, byla cílem kybernetického útoku s vážnými důsledky. Postižené byly i její hostingové služby pod názvem Station a G-hosting. Pojďme si ze střípků informací poskládat, co se vlastně stalo.

Jak to začalo

Včera (14.09.2020 v 8:22) jsem si krátil čekání na autobus čtením novinek na Twitter, když jsem si všiml podivné zprávy od oficiálního účtu @subreg:

hello partners

we have taken custody subreg/gransy/regtons data until our service fee is paid.

apologies for the disruption

Český překlad zhruba:

zdravíme partneři

převzali jsme do péče data subreg/gransy/regtons dokud nebude zaplacen poplatek za naše služby

omlouváme se za vyrušení

Toto zdělení bylo zanedlouho smazáno. Na Twitter se v 8:50 objevila zpráva o „Sofistikovaném rozsáhlém útoku na infrastrukturu.“ Stránky administrací nebyly dostupné, ovšem testovací webhosting mi fungoval. To vypadalo spíše na DDoS útok.

V 10:27 se na Facebookové stránce objevil příspěvek s detailnějšími informacemi. Tam se poprvé dozvídáme, že útočník provedl zašifrování důležitých souborů a kvůli tomu nefungují služby jak mají. Také nás informují, že bude nutná reinstalace serverů a kontrolu všech souborů. Z tohoto už bylo celkem jasné, že se jedná o Ransomware.

Co je Ransomware

Ransomware je druh malware (škodlivého kódu), který má za úkol zašifrovat soubory na disku a následně požaduje po oběti výkupné (ransom) za klíč k dešifrování. Platí se vždy v bitcoin. Jedná se v současnosti o nejrozšířenější a nejvýnosnější nelegální internetový byznys. Mnoha společnostmi, které vyvíjí bezpečnostní software, je ransomware považován za nejnebezpečnější kybernetickou hrozbu současnosti i blízké budouvnosti. Tento druh útoku cílí na počítače, mobily ale i servery.

V první polovině roku 2018 už bylo celosvětově detekováno 181,5 million ransomware útoků, což byl meziroční nárůst o 229 %. Mezi nejúspěšnější ransomware CryptoWall, kde úřady odhadují že vydělal svému tvůrci přes 18M USD.

Statisticky se vám do počítače nejčastěji dostane přes trojského koně, když otevřete přílohu v emailu. Existuje více způsobu jak funguje. Dřívější verze ransomware se pokoušely šifrovat celý disk, což je však v případě pomalých HDD na dlouhou dobu a pokud jej náhodou detekujete (symptomem je velké vytížení disku), tak jejich útoku můžete zabránit. Další verze tak zkoušely šifrovat přímo souborový systém anebo si vybíraly jen potenciálně důležité soubory (dokumenty, fotky atd.)

Důležitou součástí celého útoku je však i psychologický faktor. Ransomware vás má vyděsit a donutit k co nejrychlejšímu zaplacení. Pokud máte zašifrovaná data, tak uvidíte varování, že na zaplacení máte jen krátkou dobu nebo bude dešifrovací klíč zničen.

Většina ransomware útoků se šíří spamem, který rozesílají botnety. Nejedná se tedy o nějaké cílené útoky. Útočníkům je jedno jestli zašifrují data ve vašem počítači anebo třeba nemocnici v Benešově (viz. prosincová kauza z minulého roku).

Co se zřejmě stalo u Subreg

Následující text je můj odhad postavený na základě útržků z komentářů a příspěvků na sociálních sítí. Co přesně se stalo se dozvíme až z oficiální zprávy, kterou jistě vydají až bude po všem a budou mít na to čas. Všechny informace v časové posloupnosti hezky sepisuje také Wladass na svém blogu: wladass.cz/subreg-hacknut-timeline

  • Nejpravděpodobnější varianta: Do jednoho z počítačů zaměstnanců se dostal trojský kůň. Po proniknutí do systému trojský kůň stáhl ransomware.
  • Byl odcizen přístup k účtu na Twitter a SSH klíč pro přístup na (některé) servery.
    • Odcizený SSH klíč využívali u Subreg jednoduššímu procesování automatických záloh.
  • Ransomware zašifroval důležité adresáře /etc (konfigurační soubory), /var (data uživatelů a aplikací), /usr (soubory uživatelů a aplikací)
  • Ransomware využil SSH klíč a všude kde mohl všechno smazal. Bohužel se dostal i na (některé) servery se zálohami.
    • Subreg se domnívá, že útok odhalili včas a když útočník nedokázal vše zašifrovat, tak začal mazat co jen mohl.
  • Subreg/Gransy detekoval hrozbu, správně jí vyhodnotil a rozhodl se všechny servery přeinstalovat a nahrát ze zálohy.
  • 10:33 – V důsledku kompletního přeinstalování serverů, došlo postupně k nedostupnosti webhostingových serverů.
    • Servery reálně nemusely být vůbec zasažené ani kompromitované. Mohlo se jednat o preventivní opatření. Pokud někdo měl třeba jen teoreticky přístup na servery mohl na ně umístit backdoor (zadní vrátka). V zájmu všech je všechno přeinstalovat.
  • 14:58 – Subreg se podařilo zachránit data emailů (IAMP), hostingu Station a Subreg systému. U těchto služeb tedy nemusí obnovovat ze zálohy.
  • 20:00 – Subreg doplňuje, že netknutá data jsou i z g-hostingu a staré webhostingy. U tabulky s objednávkami z databáze systému Subregu řeší problém s velikostí.
  • úterý 04:00 – Ke spuštění emailů potřebují obnovit důležitou databázovou tabulku, ta však byla smazána včetně záloh, proto se pouští do obnovy tabulky z disku (se smazaného souboru). DNS server byl obnoven a dogenerovávají se zóny. Začíná se s reinstalováním jednotlivých DNS nodů pro AnyCast. Finišuje se DB potřebná pro správu domén.
  • 12:00 – Služby Subreg.cz jsou spuštěny, ale některé funkce nemusí být plně dostupné.
  • 13:13 – DNS dogenerovávají se některé zóny a řeší obnovu zbylých nameserverů. Připravují se na spuštění emailového řešení. Průběžně řeší i konfiguraci webserverů pro webhosting.
  • 17:00 – 80 % DNS zón je vygenerováno
  • 19:00 – pokračují práce na IMAP serveru, aby mohli chodit emaily.

Tady prozatím všechny novinky končí…

Co se stane s nedoručenými emaily

Často jsem v diskuzích viděl dotaz co se stane s nedoručenými emaily. Popravdě to vše záleží jak jsou mailservery (SMTP) odesilatele nastaveny. Ačkoliv emaily jsou v podstatě negarantovaná služba (nikdo vám nezaručí že email bude doručen), tak fungují určitá zaběhnutá pravidla.

  • Mailserver odesilatele se v pravidelných intervalech (2x za první hodinu, pak 1x za 2 – 3 hodiny) pokouší doručit email protistraně, která má technický problém.
  • Po určité době (24 – 48 hodin) se zprávy začnou vracet jako nedoručené z technických důvodů.

Pokud jsou tyto standardy zachovány, tak ten kdo email posílá bude vědět, že nebyl doručen. Následně je na jeho uvážení zdali se o to pokusí znovu anebo zvolí jinou cestu.

V tomto případě by neměla nastat situace, že se nějaký email ztratí, tedy že odesilatel nebude upozorněn na to že nebyl doručen a příjemce jej neuvidí.

Proč obnova ze zálohy tak dlouho trvá

Na webhostingu možná máte super rychlé SSD, protože potřebujte aby to šlapalo rychle, ale zálohuje se na běžné plotnové HDD, protože to je ekonomičtější a rychlost opravdu nepotřebujte. Většinou se obnovy ze zálohy navíc nedělají pro celý server. Stačí jen část anebo použijete nějaké rozdílové parametry. Když je potřeba kopírovat všechna data tak to trvá. Schválně si zkuste nakopírovat třeba 100 GB filmů. To pár minut potrvá. No a to jsou velké soubory. To co opravdu zabere čas je velké množství malých souborů. Zkuste si zazálohovat třeba adresář /users/ pokud máte Windows. Budou to desítky minut anebo spíše hodiny. Dnešní redakční systémy a různé frameworky mají běžně desítky tisíc souborů. Vynásobte si to stovkami či tisíci webů na serveru a kopírujete to celý den.

Závěr

Je to nepříjemná situace, kterou naprosto nikdo nechce zažít. V Subregu na tom makají už druhý den v kuse a nezbývá než jim držet palce. Teď to potřebují hlavně dotáhnout do konce.


Jak bude reklama vypadat?
-
Nechceš zde reklamu napořád jen za 60 Kč?
Zobrazit formulář pro nákup

16 komentářů

  1. Je to celkem problém tady ten výpadek. Dlouho tu nic tak rozsáhlého co by tak moc zasáhlo místní trh nebylo. Snad to brzy opraví a opět to pojede. Naštěstí administrace již fičí, měl jsem tam pár zahraničních domén, kdy tento týden expirovali, a bál jsem se, že se to nestihne prodloužit.

    Taky jsem se pokoušet před pár dny dát dohromady nějaké informace:
    https://www.atlaso.cz/subreg-vypadek/

    Až bude po všem, snad Subreg vydá nějakou zprávu, co to způsobilo a jak to budou řešit, aby se neopakovalo 🙂

    1. Zdravím, vycházel jsem z dostupných dat a zkusil to nějak poskládat. Pokud mi tam něco uletělo rád to opravím. Popravdě jsem tě nechtěl otravovat – článek nemá škodit, vyhnul jsem se všemu negativnímu, na doplnění jsem bral že je času dost. Věnoval jsem se hlavně pojmům, na které se lidi opakovaně ptají a nikde to zatím nebylo vhodným způsobem vysvětlené. Cílem bylo ušetřit vám čas. Jasně chtělo by to tak 3x delší článek a rozebrat dopodrobna a hlavně jednoduše jak co funguje, příčina, důsledek, ale to by bylo psaní na celý den (DNS, DNSSEC, SSL atd.) a to bohužel nemám.

  2. Můj odhad je, že útok přišel z webhostingového serveru skrze děravý redakční systém. Přecejenom subreg je hlavně domainer než hoster, takže zabezpečení hostingových serverů určitě nebylo na nejvyšší úrovni. Následně získání ssh klíče, který sloužil k automatickému zálohování a skrze společné zálohovací pole už následně přístup ke všemu a všude. Twitter účet byl už jen třešnička na dortu, kdy měl subreg údaje uložený v nějakém skriptu/automatu na některém ze serverů.

  3. Děkuji autorovi za shrnutí i odkaz na timeline s informacemi. Station by si z toho měl vzít příklad. Nejsme všichni IT odborníci. Většina z nás má jen web, který si udržujeme. Nerozumíme pojmům v oficiální NEkomunikaci. Nevíme co se děje a co se bude dít. Snad to dají brzy do pořádku. Neumím si představit výpadek delší jak tři dny.

  4. Máš tam chybu. Předpokládáš nejvíce času na obnovy ze zálohy, ale to není jejich největší problém. Oni přišli o konfigurační soubory, které nemají zálohované. Musí to všechno nakonfigurovat od začátku a to jsou desítky hodin práce pro jednotné řešení. Vše se běžně ladí a podrobuje testování. Tohle může trvat stejně jako vývoj nového řešení.

  5. My jsme ve středu všechno zmigrovali k Wedos. Zákazníci byli naštvaní a chtěli vidět nějakou akci. U Gransy je situace nepřehledná a přeposílat oficiální vyjádření anebo říkat, že na tom pracují prostě nejde. Ta bezmoc by nás stála důležité klienty. Wedos jsme vzali protože mají ISO na všechno, privátní datacentra a to se snadněji vysvětluje důvěryhodnost partnera. Jen máme teď problém se zálohováním. Náš DR plán zakazuje používat stejné datacentrum. Musíme někde levně najít náhradu za Wedos Disk. Kvůli GDPR a firemním předpisům musí být v Česku.

    1. Zdravím, tak to neporadím. Já používám jen WEDOS disk, co je zdarma k webhosting a nějaké testovací věci mám na NextCloudu. Vybrané tabulky z DB od důležitých webů si nechávám posílat „profesionálně“ na email :/

  6. Na jednu stranu mě těší podpora komunity subregu na sociálních sítích na druhou stranu přemýšlím jestli to už není dávno za hranou. Přece takto slepě nemůžu mít web několik dní offline? Na těch pár dní bych to hodil ke konkurenci, kde mají období na vyzkoušení zdarma. Až to subreg rozjede tak zase zpět.

  7. Ahoj Drago. Nevíš jak je to s kompenzacemi? Mám právo požadovat po nich náhradu škody? Je pátek a weby nejedou.

    1. Zdravím, v tomto případě to nevím, to jsem nikdy s nikým neřešil. Obecně výpadek HW/SW u hostingu se bere podle zákonu o elektronických komunikacích, a tam je náhrada škody do výše (tuším měsíční) ceny služby. To je ochrana, aby při výpadku telefonní sítě třeba 5 minut nemohl tvrdit zákazník, že promeškal objednávku za milion. Konkrétně v § 64 (12): „Pokud službu bylo možno využít jen částečně, anebo ji nebylo možno využít vůbec pro závadu technického nebo provozního charakteru na straně podnikatele poskytujícího službu, je tento povinen zajistit odstranění závady a přiměřeně snížit cenu nebo po dohodě s účastníkem, který je koncovým uživatelem, zajistit poskytnutí služby náhradním způsobem. Podnikatel poskytující službu elektronických komunikací není povinen nahradit jejím uživatelům škodu, která jim vznikne v důsledku přerušení služby nebo vadného poskytnutí služby.“

  8. Kolik má zaměstnanců firma subreg ?
    Kde sídlí zaměstnanci firmy Subreg? v které budově? (nemyslím hosting, ten mají v Casablance, jde mi o zázemí firmy, kde sedí zaměstnanci. děkuji.

    1. Kde mají sídlo se dá dohledat: https://rejstrik-firem.kurzy.cz/28087755/gransy-sro/
      Počet zaměstnanců pokud vím nikde zveřejněn není.
      Nicméně Gransy s.r.o. určitě není malá garážová firma. Má slušnou reputaci v ČR i zahraničí. Jejich anycastDNS využívají národní registry domén mnoha státu. To je poměrně slušný znak důvěry. Jako jediní jezdí na jednání ICANN (organizace, která ovládá Interent) a jsou tam v kontaktu s lidmi z různých výborů atd. V ČR jsou už dlouho (od roku 2008) a díky nim se tu spousta věcí kolem domén pohla kupředu (automatizace, jednoduchá správa, aukce, odchyty, whois proxy). U starší generace internetových uživatelů mají stále velmi silné jméno. Je to znát i na grafech propadu (kolik lidí odešlo), většina jim i přes ty problémy stále věří.

      1. 4x full time support
        1x abuse
        2x full time ucetni/fakturace
        2x full time vedeni
        5x externisti
        1x full time Srbsko
        1x full time Malajsie

        Po dohode predem je mozny nas navstivit na Prazsky pobocce (ne Borivojova, viz zivnostensky rejstrik). Dohoda predem nutna, neb kvuli situaci v Praze maji zamestnanci Home Office.

  9. Dobrý den
    Mohl by jste mě prosím kontaktovat na email který jsem vyplňoval ve formuláři ?
    Chtěl bych se vás zeptat na pár věcí které se do této diskuze nehodí
    Kontakt na vás jsem bohužel na těchto stránkách nenašel proto píši touto cestou
    Děkuji

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *