Síða 1 af 3

1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 10:11
af blitz
Á Face­book-­síð­unni For­rit­arar á Íslandi er bent á að þjón­usta fyr­ir­tæk­is­ins hafi legið niðri í hátt í sól­ar­hring. Mörður Ing­ólfs­son, for­svars­maður 1984, skrifar þar í athuga­semd: „Við sátum í 11 klst. með 7 manns niðri í Nýherja, allir helstu sér­fræð­ingar lands­ins í storage og örygg­is­málum og horfðum á vél­arnar okkar deyja. Það hefur eng­inn séð svona áður.“


https://kjarninn.is/frettir/2017-11-16-algert-kerfishrun-hja-1984/
http://www.mbl.is/frettir/innlent/2017/11/16/algjort_kerfishrun_hja_1984/

Þetta hljómar nokkuð rosalega - hvað gerðist eiginlega þarna?

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 11:06
af dori
Í þræðinum sem Mörður svaraði þá kom fram að storage dæmið þeirra (sem á að hafa alls konar redundancy og fínerí) bara bókstaflega dó og tók allt annað niður með sér.

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 11:48
af Viktor
Mynd

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 12:18
af hallihg
Fréttirnar af þessu eru mjög æsilegar og merkilegt hvað þeir virðast standa algjörlega á gati. Væri gaman ef einhverjir vaktarar sem hugsanlega þekkja til myndu koma með inside info, fyrr eða seinna

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 12:34
af GuðjónR
Greyjið strákarnir, ömurlegt að lenda í þessu. :(
En hvernig getur allur búnaðurinn farið í rúst á sama tíma?
Þar á meðal símkerfið nema um skemmdarverk, bruna eða þjófnað sé að ræða?

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 12:42
af rbe
tja.
nú er lag fyrir samkeppisaðilana að skella í nokkrar auglýsingar á hýsingu (á síðum sem enn eru enn uppi ekki hjá 1984 :guy )
það þarf kannski ekki ? flestir nota heilann ?

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 13:01
af depill
GuðjónR skrifaði:Greyjið strákarnir, ömurlegt að lenda í þessu. :(
En hvernig getur allur búnaðurinn farið í rúst á sama tíma?
Þar á meðal símkerfið nema um skemmdarverk, bruna eða þjófnað sé að ræða?


Þeir útskýrðu þetta á Facebook, basicly voru þeir með diskastæður sem voru storage backendinn fyrir greinilega mjög stórum parti af kerfunum þeirra sem datt niður. Þannig vélbúnaðurinn sem lá að ofan var enn í lagi enn storageið hvar, þar á meðal sýndarvélin sem keyrði símkerfið.

Virðist hafa verið bara technology failure hjá þeim. Svo má deila um hvort að þetta hafi þá verið rétt uppsetning eða ekki. Enn hins vegar flest allar þær umræður verða örugglega keyrðar áfram af

Mynd

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 13:02
af rapport
Frábært, ég notaði bara fríu DNS þjónustuna þeirra og nú eru síðurnar mínar ekki aðgengilegar...

Ég hef aldrei vitað um svona kerfishrun sem ekki verður vegna einhvers mannlegs þáttar, hvort sem það eru mistök sem eru gerð, vírus eða einhverskonar árás.

En 1984 hafa reynst mér vel, hafa gefið mér fría þjónustu í mörg ár og ég hef ekkert út á þá að setja, finnt ég ekki geta gert neina kröfu enda ekki búinn að greiða þeim krónu.

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 13:05
af dori
GuðjónR skrifaði:Greyjið strákarnir, ömurlegt að lenda í þessu. :(
En hvernig getur allur búnaðurinn farið í rúst á sama tíma?
Þar á meðal símkerfið nema um skemmdarverk, bruna eða þjófnað sé að ræða?

Þeir eru hýsingarfyrirtæki. Hýsa auðvitað símkerfið sitt á einum af sínum vefþjónum. Kerfið á bakvið hýsingarnar þeirra fer niður -> símkerfið hrynur.

Mér finnst það reyndar persónulega mjög lélegt að setja upp þjónustuna sína þannig að ef aðal varan þín er með vandamál (til dæmis vefþjónar fara niður ef þú ert hýsingarfyrirtæki) þá geti viðskiptavinirnir þínir ekki náð sambandi við þig. Mér finnst eins og Símafélagið hafi líka verið með svona vesen einhverntíma. Nettengingin fór niður hjá fyrirtækinu sem ég var að vinna hjá og þá var ekki hægt að ná sambandi við þjónustusímann þeirra.

Grunn atriði að hafa allavega gróft "disaster plan". Er ekki hægt að setja símkerfi upp með redundancy?

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 13:10
af GuðjónR
En þegar menn orða hlutina svona:
After spending a night with a team of experts in the hardware field, our costly setup was deemed fit for scrap.

Þ.e. að búnaðurinn sé bara "brotajárn" þá sér maður fyrir sér mann með sleggju... :dead

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 13:57
af Tbot
Þessi árátta að samþætta allt, er að bíta þá illilega í rassinn.

Sum kerfi er betra að hafa stand-alone og þá clone til öryggis.
Því það er staðreynd að öll kerfi geta bilað.

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 23:12
af Hargo
Veit einhver hvernig hardware þetta var keyrandi á?

Ég hef alltaf smá samúð þegar svona gerist vinnandi í þessum geira. Auðvelt að standa á hliðarlínunni og segjast hafa vitað betur. Hinsvegar virðast þeir vera brutally honest og ekkert skafa af því í þessum tilkynningum. Held að þeir sem eru með vefsíður og tölvupóst hjá þeim geti allavega búið sig undir dágóðan niðritíma miðað við þetta. Costly hardware orðið að brotajárni á augnabliki og algjört hrun í kjölfarið.

En svona er þetta, ef það getur bilað þá mun það gera það á endanum. Var ekki lögmálið einhvern veginn þannig?

Re: 1984.is - hvað gerðist?

Sent: Fim 16. Nóv 2017 23:34
af appel
Hef samúð með þeim.

Maður hefur lent í svipuðum aðstæðum, eitthvað sem átti að virka reyndist svo ekki virka og það verður bara cascade-failure.

Það er ekki auðvelt fyrir svona fyrirtæki að recovera eftir svona massa hrun.

Vona bara að viðskiptavinirnir fari nú ekki núna og flýji til útlanda með allt til google, amazon, microsoft o.s.frv.

Re: 1984.is - hvað gerðist?

Sent: Fös 17. Nóv 2017 09:54
af Jón Ragnar
appel skrifaði:Hef samúð með þeim.

Maður hefur lent í svipuðum aðstæðum, eitthvað sem átti að virka reyndist svo ekki virka og það verður bara cascade-failure.

Það er ekki auðvelt fyrir svona fyrirtæki að recovera eftir svona massa hrun.

Vona bara að viðskiptavinirnir fari nú ekki núna og flýji til útlanda með allt til google, amazon, microsoft o.s.frv.



Allir sem hosta síður hérna heima hafa grætt nýja viðskiptavini :)

Þeir hafa bara verið með þetta heimskulega uppsett. Allt á sama járninu og ekkert redundancy. Þeirra eigin production umhverfi á sama og viðskiptavinur og annað.

:thumbsd

Re: 1984.is - hvað gerðist?

Sent: Fös 17. Nóv 2017 11:23
af Hizzman
Murphy, þó..!..!!!! :dissed

Re: 1984.is - hvað gerðist?

Sent: Fös 17. Nóv 2017 14:48
af END
Hvert fer maður núna með einfalda Wordpress síðu?

Re: 1984.is - hvað gerðist?

Sent: Lau 18. Nóv 2017 21:09
af Starman

Re: 1984.is - hvað gerðist?

Sent: Lau 18. Nóv 2017 21:29
af Hjaltiatla
Starman skrifaði:LVM corruption
https://www.qurium.org/1984-is-can-not-give-up/


Hmm..ok þar sem ég er ZFS fanboy og það er bæði file system og logical volume manager og framkvæmir checksumming á bæði gögnum og Metadata þá spyr ég eins og bjáni. Er ekkert checksumming í LVM á metadata ?

Re: 1984.is - hvað gerðist?

Sent: Lau 18. Nóv 2017 21:57
af Hjaltiatla

Re: 1984.is - hvað gerðist?

Sent: Lau 18. Nóv 2017 22:13
af Stuffz
ok þess vegna er síðan mín niðri http://xn--sms-fla4d.is/

þeir redda þessu, hef engar áhyggjur :)

Re: 1984.is - hvað gerðist?

Sent: Lau 18. Nóv 2017 22:23
af Revenant
Hjaltiatla skrifaði:
Starman skrifaði:LVM corruption
https://www.qurium.org/1984-is-can-not-give-up/


Hmm..ok þar sem ég er ZFS fanboy og það er bæði file system og logical volume manager og framkvæmir checksumming á bæði gögnum og Metadata þá spyr ég eins og bjáni. Er ekkert checksumming í LVM á metadata ?


Checksum segir bara hvort að blokkin sé corrupted eða ekki. Checksum hjálpar þér ekkert ef boot record-ið/lvm metadata (eins og í þessu tilfelli) er corrupted/yfirskrifað/zero-ed.

Checksum í zfs leyfir kerfinu að detect-a að blokk sem þú hefur lesið af disk sé corrupted og ef RAID (1/5/6/10 etc.) er til staðar þá er hægt að "bjarga" blokkinni/laga villuna.

Re: 1984.is - hvað gerðist?

Sent: Lau 18. Nóv 2017 22:30
af Hjaltiatla
Revenant skrifaði:
Hjaltiatla skrifaði:
Starman skrifaði:LVM corruption
https://www.qurium.org/1984-is-can-not-give-up/


Hmm..ok þar sem ég er ZFS fanboy og það er bæði file system og logical volume manager og framkvæmir checksumming á bæði gögnum og Metadata þá spyr ég eins og bjáni. Er ekkert checksumming í LVM á metadata ?


Checksum segir bara hvort að blokkin sé corrupted eða ekki. Checksum hjálpar þér ekkert ef boot record-ið/lvm metadata (eins og í þessu tilfelli) er corrupted/yfirskrifað/zero-ed.

Checksum í zfs leyfir kerfinu að detect-a að blokk sem þú hefur lesið af disk sé corrupted og ef RAID (1/5/6/10 etc.) er til staðar þá er hægt að "bjarga" blokkinni/laga villuna.


Það væri allavegana ekki silent data corruption, maður vill allavegana vita ef að t.d metadata corruption gerist. Dæmi þegar þú skoðar storage pool í einfaldri ZFS uppsetningu á Freenas þá geturu séð data error-a með einfaldri skipun "zpool status"

Mynd

Re: 1984.is - hvað gerðist?

Sent: Lau 18. Nóv 2017 22:41
af Revenant
LVM metadata eru eingöngu upplýsingar hvaða logical volumes/physical volumes/volumes groups eru til staðar á disknum. LVM geymir engar upplýsingar um data. Ofan á LVM geturu síðan sett hvaða filesystem (ZFS, XFS, ext4) sem er.

Þú ert að bera saman filesystem (ZFS) við Logical Volume Management (LVM).

Re: 1984.is - hvað gerðist?

Sent: Lau 18. Nóv 2017 22:46
af Hjaltiatla
Ég var reyndar ekki að bera saman þetta tvennt að því leytinu reyndar, benti á að ZFS væri bæði logical volume manager og filesystem.
En ákvað að spurja eins og bjáni.

Re: 1984.is - hvað gerðist?

Sent: Mið 22. Nóv 2017 12:41
af falcon1
Ein forvitnisspurning frá græningja í þessum málum... er eðlilegt að það taki svona langan tíma að koma upp kerfinu aftur? Á ekki að vera backup-kerfi sem hægt er að setja upp frekar fljótt þegar svona gerist?
Ég hef verið hjá ýmsum erlendum hýsingaraðilum og alltaf þegar eitthvað hefur klikkað þá hefur það verið fljótlega komið upp aftur. Var þetta hjá 1984 eitthvað freak dæmi eða galli í uppsetningu hjá þeim?