RSS

Finał wdrożenia nowego systemu plików - RaidRPC 7

Posted by pulczynski Tue, 05 Jun 2007 14:02:00 GMT

W tym tygodniu odpalamy nowy system składowania multimediów, który pozwoli rozszerzyć grono między innymi o filmy i muzykę!

Już w tej chwili trzymamy największą w polskim internecie liczbę fotek (14 milionow).

Grono multimedia – trochę liczb

  • 2.5 terabajta danych
  • kilkadziesiąt dysków twardych
  • 0.01% downtime

# select count(*) from gallery_photos ;
  count
----------
 13508255
(1 row)

friendnet=# select count(*) from gallery_galleries ;
  count
---------
 1618839
(1 row)

Grono multimedia – przyszłość

  • Filmy
  • Muzyka
  • Terabajty Waszych danych.

Gdzie to wszystko pomieścić ?

Nasz rozproszony storage, zdolny serwerować setki megabitów ruchu przy użyciu najtańszych maszyn i opensourcowego softu zostanie ostateniecznie wdrożony w tym tygodniu, co da zielone światło dla zupełnie nowych, multimedialnych aplikacji.

Pierwsza wersja storage (umożliwiająca wgrywanie fotek) ujrzała światło dzienne wraz z odsłona galerii gronowych (półtora roku temu).

Kolejna wersja – oparta o autorski protokół RaidRPC – zostanie wdrożona w tym tygodniu.

Co nowego?

RaidRPC jest znacznie szybszy

Kilkaset uploadów plików na sekundę (w zależności od prędkości dysków)

Używa protokołu “WSGI”: http://www.python.org/dev/peps/pep-0333/

Dzięki czemu można używać dowolnego serwera www

Jest całkowicie restowy

Po prostu robimy POST, GET itp – dzięki czemu może być obsługiwany z poziomu przeglądarki www.

Pozwala na wgrywanie dowolnie dużych plików – strumieniowy upload.

Youtube już wysłało pierwsze zapytania ofertowe :)

Posiada większe możliwości introspekcji

Serwer wie co się z nim dzieje. Zawsze.

Awarie wykrywane i usuwane automatycznie (łącznie z powstaniem serwera po padzie).

Administratorzy będą mogli zająć się grą w quake.

KISS

Prostota elegancją XXI wieku.