Server/höbb með miklum gagnafluttningsgetu?


Höfundur
sibbsibb
has spoken...
Póstar: 159
Skráði sig: Mið 15. Ágú 2007 12:51
Reputation: 0
Staða: Ótengdur

Server/höbb með miklum gagnafluttningsgetu?

Pósturaf sibbsibb » Lau 05. Sep 2015 12:36

Sælir Vaktarar.
Ég er með um það bil 5 tölvur sem eru í mikilli videovinnslu og mig vantar lausn fyrir gagnageymslu/vinnslu fyrir þær. Þyrfti að vera með mikinn gagnafluttnings getu til að hægt sé að vinna í videoi beint af diskunum og auðvita að vera tengjanleg við amk 5 tölvur.
Hvaða lausn dettur ykkur í hug fyrir slíkt system?



Skjámynd

nidur
/dev/null
Póstar: 1362
Skráði sig: Fim 18. Ágú 2011 16:50
Reputation: 192
Staðsetning: In the forest
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf nidur » Lau 05. Sep 2015 12:55

Freenas með 5 diska í stripe eru að ná á milli 400-500 MB/s les og skrifhraða.

Ef þú miðar við að þessar 5 vélar séu allar með 1Gbps netkorti þá geta þær náð 100-115 MB/s hver

Vandamálið er hinsvegar servervélin/gagnageymslan, hún er væntanlega bara með 1Gbps netkorti eða tveimur með loadbalancing. Hún nær þá ekki meira en 200MB/s út og inn.

Þú getur svo fengið þér 10Gbps net í allar vélarnar fyrir mikinn pening og haft allt á max hraða.


Everyone knows the phrases "time is money" and "money is power". That naturally concludes that time is also power. Time gives you the ability to learn how to do things, but people don't want the power in today's world. They want their time and money.

Skjámynd

nidur
/dev/null
Póstar: 1362
Skráði sig: Fim 18. Ágú 2011 16:50
Reputation: 192
Staðsetning: In the forest
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf nidur » Lau 05. Sep 2015 13:08

Hérna er linkur sem þú getur kynnt þér svona pælingar nánar
http://wolfcrow.com/blog/how-to-get-san ... diy-route/


Everyone knows the phrases "time is money" and "money is power". That naturally concludes that time is also power. Time gives you the ability to learn how to do things, but people don't want the power in today's world. They want their time and money.


slapi
Gúrú
Póstar: 558
Skráði sig: Fös 19. Jún 2009 21:47
Reputation: 50
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf slapi » Lau 05. Sep 2015 15:04

LinusTech er einmitt búinn að vera í svona vinnu (frekar over the top reyndar) en þá er hann með SSD raid server sem vinnslu server á 2x10Gbps sam var held ég reiknað fyrir að gæti höndlað 10 manns í einu að scratcha 4k efni án þess að vera neinni hættu á bandvídd.

Þetta er mj0g sniðugt að vinna allt efnið af server en það vantar smá meiri upplýsingar um þetta um hversskonar tölvur er verið að vinna þetta á (mac/PC) og erum við að tala um 1080p eða 4K?




Höfundur
sibbsibb
has spoken...
Póstar: 159
Skráði sig: Mið 15. Ágú 2007 12:51
Reputation: 0
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf sibbsibb » Lau 05. Sep 2015 15:34

Þetta er mac og hackintos vélar... aðalega verið að vinna með 1080p en eitthvað 4K efni. Maður þyrfti nú kannski að hafa þetta 4K ready fyrir framtíðina, takmarkað vit í öðru en má þó ekkert vera alltof dýrt en þarf að virka. Væri ekki bara séns að hafa þetta SSHD diska bara?



Skjámynd

nidur
/dev/null
Póstar: 1362
Skráði sig: Fim 18. Ágú 2011 16:50
Reputation: 192
Staðsetning: In the forest
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf nidur » Lau 05. Sep 2015 15:59

Já, budget skiptir miklu máli, ef þú ætlar að fara yfir milljón þá er allt í lagi að pæla í einhverju almennilegu.


Everyone knows the phrases "time is money" and "money is power". That naturally concludes that time is also power. Time gives you the ability to learn how to do things, but people don't want the power in today's world. They want their time and money.

Skjámynd

motard2
Fiktari
Póstar: 98
Skráði sig: Fim 21. Feb 2008 19:08
Reputation: 8
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf motard2 » Lau 05. Sep 2015 18:54

þetta móðurborð er með dual 10gig nics á þokkalegu verði fyrir serverin.

http://www.asrock.com/mb/Intel/X99%20WS-E10G/


Fractal Define S, Asus X99-S, Xeon 1660 V3 @4.4ghz, 128gb ecc Rdimm @2666 cl13, AORUS 3080 XTREME WATERFORCE WB, Corsair RM1000x, Samsung NVME SSD 950 pro 512Gb +500Gb og 1tb sata ssd

Skjámynd

odinnn
spjallið.is
Póstar: 473
Skráði sig: Fim 26. Sep 2002 20:37
Reputation: 8
Staðsetning: Hef ekki glóru!
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf odinnn » Lau 05. Sep 2015 21:41

Það myndi hjálpa að hafa aðeins meiri upplýsingar um það hvað hafið úr að moða núna og eftir hverju þið eruð að leitast. Verðviðmið, hvernig er uppsetning á vélum núna og hvernig er vinnuflæðið, hvernig viljiði að uppsetningin sé og vinnuflæðið verði.

Ég geng út frá því að þið séuð núna með þessar 5 vélar nokkuð sjálfstæðar þar sem þið geymið og vinnið efnið á hverri vél um sig (þeas. vél 1 hefur sín vídeó og verkefni sem hinar vélarnar komast ekki í nema með herkjum).

Lausn 1:
Tölvurnar eru hafðar nokkuð óbreyttar, 1-2 snúningsdiskar hafðir til að geyma vídeó sem verið er að nota á þeirri tölvu og 1-2 ssd diskar notaðir sem scratch disk. Server er settur upp sem geymsluvél með snúningsdiskum (í raid1/5/6...) þar sem vinnu vélarnarnar afrita vídeóin og verkefnin sín til öryggis og einnig svo hinir hafi líka aðgang að öllum hlutum. Þetta er síðan tengt saman með 12 (eða fleiri) porta gig sviss sem tengist vinnutölvunum með 1-2x1gig línum og server með 4x1gig línum (og nota 4ra porta pci kort).

Líklega ódýrari lausnin þar sem vinnutölvurnar sjá ennþá um allt en safna saman öllu nokkrum sinnum á dag á server og gerir þannig efnið aðgengilegt öllum.

Lausn 2:
Einungis vera með stýrikerfistdisk á vinnuvélunum og annað hvort vera með 2x1gig tengingu í sviss ef unnið er með 1080p efni en 1x10gig tengingu ef unnið er með 4k (hægt að nota 4x1gig til að spara smá pening en gæti verið meira bras að setja upp). Vera með 1-2 servera sem sjá um geymslu á gögnum með snúningsdiskum (raid1/5/6...) og svo til að vera scratchdisk með ssd diskum (raid0) sem vinnuvélarnar nota í sinni vinnslu (veit ekki hvort er betra að deila þessu á tvær vélar eða hafa bara eina). Scratchdisk serverinn þyrfti allavegana 1x10gig línu ef ekki tvær (fer dálítið eftir því hvernig endanleg uppsetning yrði og hvernig vinnuvélarnar eru tengdar) og sviss eftir því.

Dýrari lausn sökum öflugra nets og fleiri/stærri servera en allt geymslupláss er komið þangað.


(Ég er langt frá því að vera sérfræðingur í svona málum og hef ekkert til að rökstyðja mitt mál eins og er)


Desktop: i5 4670K|Asus Maximus VI Impact|EVGA GTX780SC|Adata XPG PC3-17000 16Gb
Server: C2D6600|Asus P5B deluxe Wi/Fi|GeiL PC6400 6Gb

Skjámynd

nidur
/dev/null
Póstar: 1362
Skráði sig: Fim 18. Ágú 2011 16:50
Reputation: 192
Staðsetning: In the forest
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf nidur » Sun 06. Sep 2015 00:49

motard2 skrifaði:þetta móðurborð er með dual 10gig nics á þokkalegu verði fyrir serverin.

http://www.asrock.com/mb/Intel/X99%20WS-E10G/


Hvaða rosalega móðurborð er þetta :)


Everyone knows the phrases "time is money" and "money is power". That naturally concludes that time is also power. Time gives you the ability to learn how to do things, but people don't want the power in today's world. They want their time and money.


slapi
Gúrú
Póstar: 558
Skráði sig: Fös 19. Jún 2009 21:47
Reputation: 50
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf slapi » Sun 06. Sep 2015 04:51

sibbsibb skrifaði:Þetta er mac og hackintos vélar... aðalega verið að vinna með 1080p en eitthvað 4K efni. Maður þyrfti nú kannski að hafa þetta 4K ready fyrir framtíðina, takmarkað vit í öðru en má þó ekkert vera alltof dýrt en þarf að virka. Væri ekki bara séns að hafa þetta SSHD diska bara?


SSHD diskar ganga ekki í RAID því miður



Skjámynd

depill
Stjórnandi
Póstar: 1547
Skráði sig: Mán 04. Júl 2005 17:09
Reputation: 215
Staðsetning: Reykjavík, Iceland
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf depill » Sun 06. Sep 2015 10:43

Hvað með bara Diskstation frá Synology.

Í 1815+ boxinu geturðu verið með t.d. 7 HD diska + SSD cache. 4 GB uplink með LACP sem ætti að duga fyrir ykkur miðað við þær kröfur sem þú setur fram.




Höfundur
sibbsibb
has spoken...
Póstar: 159
Skráði sig: Mið 15. Ágú 2007 12:51
Reputation: 0
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf sibbsibb » Mán 07. Sep 2015 17:34

Þakka góð svör. Held þetta sé meira en ég gerði mér grein fyrir í fyrstu en trúi alveg að þetta gæti veirð hausverkur með þessar vélar sem eru hér. Hvert mynduð þið fara til að fá tilboð í slíkt kerfi?



Skjámynd

depill
Stjórnandi
Póstar: 1547
Skráði sig: Mán 04. Júl 2005 17:09
Reputation: 215
Staðsetning: Reykjavík, Iceland
Staða: Ótengdur

Re: Server/höbb með miklum gagnafluttningsgetu?

Pósturaf depill » Mán 07. Sep 2015 18:55

sibbsibb skrifaði:Þakka góð svör. Held þetta sé meira en ég gerði mér grein fyrir í fyrstu en trúi alveg að þetta gæti veirð hausverkur með þessar vélar sem eru hér. Hvert mynduð þið fara til að fá tilboð í slíkt kerfi?


Myndi heyra í Nýherja, fá ráðleggingar frá þeim. Þeir eru framanlega í þessu stöffi, hafa bæði "ódýrar" og dýrar lausnir.