10 marca 2021

Płonące serwery, czyli jak puścić z dymem miliardy euro? Jak są zabezpieczone nasze dane i strony internetowe? I czego uczy każdego z nas pożar w OVH?

Płonące serwery, czyli jak puścić z dymem miliardy euro? Jak są zabezpieczone nasze dane i strony internetowe? I czego uczy każdego z nas pożar w OVH?

Tysiące wyłączonych na co najmniej kilkanaście godzin stron internetowych, utrata terabajtów danych, straty finansowe liczone w setkach milionach lub nawet miliardach euro – pożar w centrum przechowywania danych firmy OVHcloud. Mogło spłonąć kilkadziesiąt tysięcy serwerów. Nie wiadomo, jaką część danych uda się odzyskać. Dla każdego, kto ma stronę internetową, to ostrzeżenie: nasze dane – także te przechowywane na zewnętrznych serwerach – mają wartość i warto sobie zdawać z tego sprawę jeszcze zanim spłoną. Czego jeszcze uczy nas pożar w OVH?

Pożary wybuchają na świecie co kilka sekund i większość z nich nie staje się tematami dnia w branży technologicznej. Chyba, że akurat płonie budynek jednej z najpopularniejszych firm dostarczających usługi serwerowe, w którym „upakowano” kilkadziesiąt tysięcy serwerów, pracujących dla kilku tysięcy klientów na całym świecie.

Zobacz również:

A to właśnie zdarzyło się firmie OVHcloud. W nocy z wtorku na środę pożar objął dwa sąsiadujące ze sobą centra danych mieszczące się w Strasburgu (tutaj więcej wiadomości na ten temat, ale warto też poczytać „naszego” Niebezpiecznika). Oczywiście: to tylko jedno z niemal tysiąca centrów danych mieszczących się w Europie. I jedno z 17 centrów danych, którymi w Europie dysponuje OVHcloud (największe z nich mają po 150.000 serwerów).

Ale jeśli mieliście lub macie problem z dostaniem się na jakąś stronę internetową, to niewykluczone, że jej właściciel miał pecha i dane jego strony internetowej były przechowywane akurat w tym centrum danych. Nota bene nie jest to pierwszy duży problem z tym centrum danych. Kilka lat temu jej klienci przeżyli inną wielką awarię. (tutaj więcej o tym wydarzeniu po angielsku).

Nie działające strony, stracone dane. Pożar w OVH przyniesie gigantyczne straty

Wiadomo już, że wśród poszkodowanych jest m.in. Baselinker, popularna w Polsce usługa do zarządzania sprzedażą w małych sklepach internetowych. Korzystają z nich internetowe sklepy na Allegro, co oznacza, że wiele z nich będzie musiało zawiesić wysyłkę towarów (elementem usługi jest m.in. integracja z usługami kurierskimi).

„Nasze serwery nie zostały uszkodzone, jednak znajdują się w serwerowni sąsiadującej z pożarem i wg informacji OVHcloud nie będą dzisiaj uruchomione. Nasza infrastruktura zapasowych serwerów działa w tym samym mieście, dlatego też jest niedostępna. Zakładaliśmy awarie pojedynczych serwerów lub bloków, nie całego obszaru”

podał Baselinker. Z danych programu Downdetector.com, który zbiera informacje o awariach stron internetowych, wynika, że w czasie, gdy pojawiły się informacje o pożarze w OVHcloud były kłopoty z dostępem do stron banków Santander, czy ING, a także np. Multimedia Polska. Oczywiście: tak poważne instytucje – zwłaszcza banki – nie trzymają żadnych danych w tego typu serwerowniach, ale niewykluczone, że jakieś niekluczowe usługi wspomagające np. monitoring antywirusowy mogły być zarządzane ze spalonych serwerów.

Inna „ofiara” pożaru, sklep internetowy Bonito.pl, poinformował klientów na Facebooku, że część zamówień będą musieli złożyć ponownie, bo… poszły z dymem:

„Dzisiaj w nocy w Strasburgu we Francji doszczętnie spłonęła serwerownia OVH, w której znajdowały się nasze serwery ze stroną internetową oraz wiadomościami email. Jest to wydarzenie wręcz niespotykane w kilkudziesięcioletniej historii internetu. W ciągu 2 godzin nasz administrator wprowadził „disaster recovery plan” i odtworzył stronę bonito.pl. Po kilku godzinach przerwy można składać zamówienia. Żadne ze złożonych wcześniej zamówień nie zostało utracone. Niestety utraciliśmy część Waszych wiadomości e-mail, zwłaszcza tych, które były wysyłane wczoraj wieczorem przed wybuchem pożaru oraz są wysyłane teraz. Obecnie pracujemy nad odzyskaniem skrzynek pocztowych.”

Już sam fakt pożaru serwerowni to ogromny cios w reputację OVHcloud, jednej z najpopularniejszych firm udostępniających miejsce na serwerach. Centra danych to miejsca, które zwykle są bardzo pilnie monitorowane, mają dublowane systemy dostarczania energii oraz kilkupoziomowe systemy przeciwpożarowe.

Poza tym oczywiście są straty wynikające z konieczności odkupienia samego sprzętu. Przeciętny serwer tej klasy, którą oferowała OVHcloud kosztuje podobno ok. 10.000 zł (dla porównania: serwery z wyższej półki to wydatek 30.000 zł). Jeśli pomnożymy tę kwotę przez 30.000 zniszczonych serwerów, okaże się, że mówimy o 100 mln euro strat czysto sprzętowych. A wartość danych? Te w wielu przypadkach mogą być bezcenne, o ile nie miały backupu.

Gdyby na dodatek okazało się, że OVHcloud nie dysponuje backupem danych, które spłonęły (co nie jest wykluczone, bo OVHcloud – o ile mi wiadomo – oferował w tym miejscu „gołą” usługę przechowywania danych na serwerach, bez żadnych backupów, ani hostingu), to będziemy mieli jedną z największych „katastrof serwerowych” w ostatnich latach.

Część klientów OVHcloud, poszkodowanych w pożarze, być może wykupiła gdzieś usługi backupu na własną rękę i będą mogli odzyskać dane. Ale raczej nie bezkosztowo i w większości przypadków niezbyt szybko. Wspomniany wyżej Baselinker pisze:

„OVHcloud przygotowuje się do uruchomienia budynków, w których znajduje się część naszej infrastruktury wystarczająca do uruchomienia systemu. Jeśli nastąpi to szybciej niż zakończą się nasze prace nad uruchomieniem systemu z backupu, przywrócone zostanie oryginalne środowisko systemu. Z naszej strony równocześnie trwają prace nad uruchomieniem systemu w innym centrum, ilość danych do przeniesienia z backupu jest jednak bardzo duża, dlatego proces trwa długo”

Dane na serwerach cenniejsze, niż pieniądze?

Jakie straty finansowe wchodzą w grę? Eksperci z polskiego centrum danych Beyond.pl, znajdującego się w Poznaniu – jednego z trzech w Europie data center z najwyższym standardem bezpieczeństwa „Rated 4” – podają za raportem ITIC 2017, że uśredniony koszt niedostępności serwerów wynosi 140.000 dolarów na każdą godzinę. Tutaj kilka danych na ten temat:

Gdyby przełożyć to na może i 10.000 klientów OVHcloud, którzy mogli stracić swoje dane albo – jak Baselinker – potrzebują dużo czasu, żeby „postawić” swój serwis na innych serwerach, odzyskując dane z backupu, mówilibyśmy o miliardach dolarów. Trzeba jednak przyjąć, że z usług OVH korzystały w dużej części małe firmy, których straty są przeciętnie mniejsze.

„Odczuwamy ulgę, że nikt nie został ranny ani wśród naszych zespołów, ani wśród strażaków i służb prefektury, którym dziękujemy za wzorową mobilizację. Dzięki naszym kilkunastu centrom danych w Europie, zespoły techniczne i sprzedażowe OVHcloud angażują się we wspieranie naszych klientów, wdrażanie adekwatnych rozwiązań oraz łagodzenie skutków niedostępności lokalizacji w Strasburgu. Naszą misją jest niezmiennie zapewnienie klientom najwyższej jakości usług wspierających ich działalność. Szczerze przepraszamy za trudności i wyzwania spowodowane przez pożar. Obecnie trwa ocena skutków wydarzenia, tak abyśmy mogli w możliwie najbardziej przejrzysty sposób informować o postępach czynności sprawdzających i wdrażaniu rozwiązań”

– napisała firma OVHcloud w oświadczeniu podpisanym w polskiej wersji przez Joannę Parasiewicz, rzeczniczkę firmy nad Wisłą. Ulgi nie odczuwają niestety niektórzy z klientów. Zwłaszcza ci, którzy nie zadbali o backup swoich danych przechowywanych na serwerach.

Ten przykład pokazuje, jak wielkie znaczenie ma inwestowanie w backup danych, a w przypadku firm, które nie mogą sobie pozwolić na przerwy w wyświetlaniu swoich stron internetowych – współpraca z centrami danych o wyższym profilu bezpieczeństwa niż to w Strasburgu (na jego stronie internetowej nie ma informacji, by miało jakikolwiek certyfikat dotyczący standardów bezpieczeństwa w data center).

W przypadku najbezpieczniejszych centrów danych – jednym z nich jest poznańskie Beyond.pl (tam – za pośrednictwem usługi hostingowej od firmy Zenbox – są składowane dane pozwalające na bezawaryjne wyświetlanie na Waszych ekranach bloga „Subiektywnie o finansach”), gwarantowany certyfikatem czas niedostępności usług wynosi 26 minut w skali roku. Ale Magdalena Jakimiak-Szadziewicz z Beyond.pl mówiła mi ostatnio, że od czasu otwarcia centrum w 2016 r. ani przez minutę nie było ono niedostępne.

Czego uczy nas pożar w OVH?

Zawsze mnie dziwiło dlaczego płacę za usługę hostingową kilka razy więcej, niż mógłby w najtańszych firmach na rynku. Jakiś czas temu się zainteresowałem tym zagadnieniem, ale dopiero pożar serwerów OVHcloud w pełni uświadomił mi, że bezpieczeństwo danych po prostu kosztuje. Można kupić serwer tańszy, albo droższy (za 5.000 zł, albo za 30.000 zł). Można zdublować jego działanie serwerem zapasowym, albo nie. Można to postawić w ogniotrwałym, certyfikowanym budynku, albo w kontenerach, w których stały serwery OVHcloud w Strasburgu. Można ja backupować kilka razy dziennie, albo raz na kilka tygodni.

Pożar serwerowni OVHcloud to przykład na to, że dane bywają cenniejsze, niż pieniądze. Gotówka, która mogłaby spłonąć zamiast serwerów, zapewne byłaby ubezpieczona. Być może serwery też były. Ba, nawet przerwa w działaniu stron internetowych bywa obiektem ubezpieczenia (choć są to rzadkie na polskim rynku produkty). Jeśli jednak dane na tych zniszczonych serwerach nie były nigdzie skopiowane – albo były kopiowane, ale rzadko – to mówimy już o trudnych do oszacowania szkodach.

Temat wydaje się niekoniecznie pasować do „Subiektywnie o finansach”, ale wbrew pozorom jest bardzo o pieniądzach. O tych, które są zamknięte w danych, które przechowujemy w mniej lub bardziej zabezpieczonych serwerach, czy twardych dyskach i które częściej lub rzadziej backupujemy.

Zastanawiasz się, czy twoje dane są bezpieczne? Na jakich serwerach – i jak zabezpieczonych – są umieszczone twoje strony internetowe? Jak możesz sprawdzić, czy przypadkiem nie znajdują się w przypadkowych serwerowniach, nie posiadających nawet zabezpieczeń przeciwpożarowych, nie mówiąc już o innych systemach bezpieczeństwa? Zapraszam do mojego tekstu na ten temat na Homodigital.pl

zdjęcie tytułowe: abonin_DNA/Twitter

Subscribe
Powiadom o
37 komentarzy
Oldest
Newest Most Voted
Inline Feedbacks
Zobacz wszystkie komentarze
Marek Mosiewicz
7 miesięcy temu

OVH też podawało bardzo dobre SLA.

BdB
7 miesięcy temu

Wystarczy przypomnieć pamiętny pożar w serwerowni T-Mobile sprzed 2 lat.

BdB
7 miesięcy temu

Ciekawe jak wyglądało w OVH backupowanie. Ono powinno odbywać się w czasie rzeczywistym, najrzadziej raz na dzień i bezwzględnie w innej lokalizacji.

Aaa
7 miesięcy temu
Reply to  BdB

W czasie rzeczywistym to nie jest backupowanie tylko mirrorowanie.

Piotr
7 miesięcy temu
Reply to  BdB

Ale tam ovh nie robił żadnych swoich automatycznych backupow bo to były serwery dedykowane. Każdy klient musi sobie sam robić backupy.

Tomasz
7 miesięcy temu

A świstak siedzi i wypluwa ten marketingowy bełkot 🙂 Opisywane w Home Digital Data Center także miało bardzo poważną wpadkę i jakoś wtedy backupów nie udało się odnaleźć https://niebezpiecznik.pl/post/e24cloud-com-powoli-wraca-do-zycia-po-wczorajszej-awarii/ pozostaje mieć nadzieję, że wyciągnęli naukę z tamtej lekcji. Firma hostingowa czy jakakolwiek inna powinna samodzielnie zadbać o backupy na zewnątrz i na absolutnie nie ufać w tym wypadku Data Center.

Last edited 7 miesięcy temu by Tomasz
gosc
7 miesięcy temu

Ostatnio trochę przeglądałem grupy dyskusyjne poświęcone menadżerom haseł i niektórzy użytkownicy powtarzali jak mantrę by robić backupy zgodnie z zasadą 3-2-1. Po sytuacji z OVH postanowiłem sprawdzić o co dokładnie chodzi no i znalazłem ten artykuł:
Backup skuteczny, czyli zasada 3-2-1
https://www.backupacademy.pl/backup-skuteczny-czyli-zasada-3-2-1/
3 kopie, 2 różne nośniki danych, 1 w zupełnie innej lokalizacji

Dobrze zrobione kopie bezpieczeństwa warto posiadać nie tylko z powodu ryzyka pożarów, ale również z powodu zagrożenia ransomware. Ataki ransomware zdarzają się codziennie.

Adam S.
7 miesięcy temu
Reply to  gosc

Mądrego warto posłuchać.

Janek
7 miesięcy temu
Reply to  gosc

Zasada …jest głupia. To rozumowanie dobre do backupów robionych na laptopie Janusza z Rozprzy Wielkiej. Przykro mi, ale nie zamierzam owijać tego w bawełnę: to naiwne rozumowanie laika. Sam laikiem nie jestem, bo kwestie backupów, DRP, remote copy, itd. to mój chleb powszedni od 25 lat. To jaka jest zasada? 3-4-5? A-B-C? Tere-fere-kuku? Nie ma takiej. Jest zbiór zasad, który trzeba nałożyć na specyfikę systemu, wymogi formalne i ograniczenia budżetowe. Kilka oczywistości: Każdy nośnik może ulec awarii. Każda lokalizacja może ulec katastrofie I już z tego mamy że dobrze jest mieć kopie w dwóch miejscach i dwóch egzemplarzach. Można połączyć… Czytaj więcej »

Alek
7 miesięcy temu

A powiedzenie „Ludzie dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili” jest ciągle aktualne.

anonymous
7 miesięcy temu
Reply to  Alek

Jest jeszcze trzecia grupa, jakieś 99,99% społeczeństwa: ci którzy nie będą robić kopii bezpieczeństwa.

d1060
7 miesięcy temu

bylem w serwerowni wielkiego giganta od nowych technologi i uzbrojenia -bunkier pod ziemia,wejscie tylko z nadzorca ,bez tel ,przeswietlarka ,waga czujniki temperatury ,podczerwieni ,gaszenie proszkiem ,gaszenie co2 ,zabezpieczenie monitoringiem kazdej „szafy” kamera nawet w wc ,te inne palace sie serwerownie to chyba sami podpalaja .

Marek
7 miesięcy temu
Reply to  d1060

Nie, cięcie kosztów. W przypadku, który opisujesz – skoro to „gigant od uzbrojenia”, to, primo – mają mnóstwo kasy bo projekty militarne są dobrze płatne bo na to rządy wydają grube pieniądze bez zbytniej kontroli i, secundo, opisywane środki bezpieczeństwa w równej zapobiegają niepowołanemu dostępowi do danych co byłoby dla firmy i jej zleceniodawców bardzo bolesne więc na tym nie oszczędzają.

anonymous
7 miesięcy temu
Reply to  d1060

Pewnego dnia przyjdzie byle policjancina, machnie odznaką przed nosem ochronie i sami go wpuszczą.

gosc
7 miesięcy temu
Reply to  d1060

To gigant tylko od nowych technologii – bez uzbrojenia 😉
Google Data Center Security: 6 Layers Deep
https://www.youtube.com/watch?v=kd33UVZhnAA

anonymous
7 miesięcy temu

Ta serwerownia stoi na jakimś zadupiu. Krzaki, tory kolejowe i graffiti. Pewnie żadnych zabezpieczeń i pożar to była kwestia czasu.

Jarosław
7 miesięcy temu

Panie Macieju sa chmurki i prawdziwe chmury np w Azure każda porcja danych ma 3 kopie w różnych centrach danych. Chmura z serwerów w tym samym budynku to marketing w dodatku nieuczciwy. Trzymanie danych w lokalnej chmurze to właśnie proszenie się o problem wystarczy pozar powódź lub kradzież

marek
7 miesięcy temu

Dane w chmurze : )

Adam S.
7 miesięcy temu

Bitcoin nie spłonie nigdy.

Jakub
7 miesięcy temu
Reply to  Maciej Samcik

No to spłonęła. Trudno. Nawet jeśli jest nie do odzyskania, to pytanie czy stanowiła chociaż 1 ppm Bitcoina.

Tomek
7 miesięcy temu
Reply to  Adam S.

Bitcoin nie spłonie, ale może za to stać się np. nielegalny.

Radek
7 miesięcy temu

Pożary we Francji to element kultury tego kraju, tam regularnie puszczają coś z dymem

Tomek
7 miesięcy temu
Reply to  Maciej Samcik

Można się spierać co lepiej spalić.

Łukasz
7 miesięcy temu

Największa ich wtopa to fakt, że backup był w tej samej lokalizacji – w budynku obok.
To jest chore rozwiązanie. Mają kilka DC więc czemu nie przerzucali danych do nich?

Wacław
7 miesięcy temu
Reply to  Łukasz

Uwaga odpowiem, bo to kosztuje. Ktoś wpadł na pomysł jak oszczędzić i szefostwo bardzo się z tego powodu ucieszyło i wypacili sobie z tego powodu syte premie. Tak to zazwyczaj wygląda.

Łukasz
7 miesięcy temu
Reply to  Wacław

Ale co to za różnica? Malutka oszczędność. Każdy ich DC ma też backup. Można było po prostu zamiast pchać go na backup obok, przesyłać do miejsca backupowego w innym DC i vice versa. Dzięki temu bez inwestowania w dodatkowe bloki mają backupy rozrzucone po innych lokalizacjach. Oczywiście też też pewien koszt (przesył, konfiguracja itd.), ale sporo mniejszy, niż cały osobny blok na backup w innym miejscu.

Piotr
7 miesięcy temu
Reply to  Łukasz

A zdajesz sobie sprawę jaką ilość danych trzeba by przesyłać?
Jak coś obok stoi to połączyć łatwo. Wystarczy kilka km odległości i… no zaczyna się problem – trzeba mieć fizyczne kable światłowodowe i to nnie jeden.

krzyszp
7 miesięcy temu

Kolejny tani spamer… Jakość usług adekwatna do jakości spamu – czyli dno.
Odradzam Laura Finance Company – to zwykli naciągacze…

Michał
7 miesięcy temu

Tylko offsite i to robiony samemu. Zatrważające jest jak wiele firm nie robi backupów albo jak wiele firm nie ma testów tych backupów. Jest jak z kotem Schroedingera, backup jest i go nie ma jednocześnie, aż ktoś go spróbuje odtworzyć.

BdB
7 miesięcy temu

Tylko czemu niby-moderacja to przepuściła?

Janek
7 miesięcy temu

Beyond – proponuję poszukać artykułów sprzed kilku lat. Mieli certyfikaty i …grubą awarię połączoną z utratą danych.

Przemo
7 miesięcy temu

Ciekawostka taka:
sw.gov.pl czyli strona główna Służby Więziennej plus wszystkie podstrony Inspektoratów Okręgowych i poszczególnych jednostek.
Przypadek? Jakoś nie wierzę w takie przypadki. A dziwię się, bo taki brak rozsądku musi dziwić… 🙂

Subiektywny newsletter

Bądźmy w kontakcie! Zapisz się na newsletter, a raz na jakiś czas wyślę ci powiadomienie o najważniejszych tematach dla twojego portfela. Otrzymasz też zestaw pożytecznych e-booków. Dla subskrybentów newslettera przygotowuję też specjalne wydarzenia (np. webinaria) oraz rankingi. Nie pożałujesz!