ITBlog: Finał wdrożenia nowego systemu plików - RaidRPC

Finał wdrożenia nowego systemu plików - RaidRPC

pulczynski — Tue, 05 Jun 2007 16:02:00 +0200

W tym tygodniu odpalamy nowy system składowania multimediów, który pozwoli rozszerzyć grono między innymi o filmy i muzykę!

Już w tej chwili trzymamy największą w polskim internecie liczbę fotek (14 milionow).

Grono multimedia – trochę liczb

2.5 terabajta danych
kilkadziesiąt dysków twardych
0.01% downtime


# select count(*) from gallery_photos ;
  count
----------
 13508255
(1 row)

friendnet=# select count(*) from gallery_galleries ;
  count
---------
 1618839
(1 row)

Grono multimedia – przyszłość

Filmy
Muzyka
Terabajty Waszych danych.

Gdzie to wszystko pomieścić ?

Nasz rozproszony storage, zdolny serwerować setki megabitów ruchu przy użyciu najtańszych maszyn i opensourcowego softu zostanie ostateniecznie wdrożony w tym tygodniu, co da zielone światło dla zupełnie nowych, multimedialnych aplikacji.

Pierwsza wersja storage (umożliwiająca wgrywanie fotek) ujrzała światło dzienne wraz z odsłona galerii gronowych (półtora roku temu).

Kolejna wersja – oparta o autorski protokół RaidRPC – zostanie wdrożona w tym tygodniu.

Co nowego?

RaidRPC jest znacznie szybszy

Kilkaset uploadów plików na sekundę (w zależności od prędkości dysków)

Używa protokołu “WSGI”: http://www.python.org/dev/peps/pep-0333/

Dzięki czemu można używać dowolnego serwera www

Jest całkowicie restowy

Po prostu robimy POST, GET itp – dzięki czemu może być obsługiwany z poziomu przeglądarki www.

Pozwala na wgrywanie dowolnie dużych plików – strumieniowy upload.

Youtube już wysłało pierwsze zapytania ofertowe :)

Posiada większe możliwości introspekcji

Serwer wie co się z nim dzieje. Zawsze.

Awarie wykrywane i usuwane automatycznie (łącznie z powstaniem serwera po padzie).

Administratorzy będą mogli zająć się grą w quake.

KISS

Prostota elegancją XXI wieku.

"Finał wdrożenia nowego systemu plików - RaidRPC" by matt

Sun, 30 Sep 2007 22:08:30 +0200

hmm… Google opisalo po trochu swego GFS’a…. moze wiecej szczegolow technicznych:)?

"Finał wdrożenia nowego systemu plików - RaidRPC" by Albert

Wed, 13 Jun 2007 20:36:22 +0200

Gentoo

"Finał wdrożenia nowego systemu plików - RaidRPC" by kk

Wed, 13 Jun 2007 18:59:08 +0200

Ciekawe jaki OS mają serwery (tzn. BSD czy linux a jeśli to jaki)?

"Finał wdrożenia nowego systemu plików - RaidRPC" by Hidemichi

Tue, 12 Jun 2007 18:37:46 +0200

“Administratorzy będą mogli zająć się grą w quake.”

Do zobaczenia na serwerze :-)

"Finał wdrożenia nowego systemu plików - RaidRPC" by ~| Mariusz |~

Wed, 06 Jun 2007 00:08:18 +0200

Zapowiada się ciekawie ;)

"Finał wdrożenia nowego systemu plików - RaidRPC" by Artur Kulig

Tue, 05 Jun 2007 20:57:53 +0200

Ale zawsze dane, nie? Nie ważne co to. A ekipie grona życzę powodzenia :)

"Finał wdrożenia nowego systemu plików - RaidRPC" by abc

Tue, 05 Jun 2007 19:49:06 +0200

“Fotek”... Z czego połowa to obrazki, gifki itd. ;]