http://itblog.grono.net/articles/tag/macierz en-us 40 grono.net Ostatnio dostaliśmy nową zabawkę do testów - nowiutkiego <a href="http://www1.euro.dell.com/content/products/productdetails.aspx/pvaul_md1000?c=uk&l=en&s=bsd&cs=ukbsdt1">della powervault md1000</a>. Co to takiego, zapytacie? Otóż jest to całkiem miły "das" (direct attached storage, czyli, upraszczając trochę, po prostu macierz) od Dell'a.<br> Egzemplarz, który testowaliśmy miał 15 dysków sas, każdy o pojemności 72gb i prędkości obrotowej 15000 rpm. Macierz ma być używana jako nośnik dla bazy danych, więc zanim zostanie użyta musieliśmy przeprowadzić testy (by wiedzieć co i jak podzielić na poszczególne dyski logiczne). Podłączyliśmy ją do wolnego serwera (także Dell'a, ale nieużywanego), którego parametry są "całkiem, całkiem" : <ul> <li>4 dwurdzeniowe xeon'y (3.4ghz)</li> <li>32gb ram</li> <li>2 wewnętrzne dyski, sas, 72gb, 15000 rpm, 72g zestawione w raid1</li> </ul> Testy przeprowadziliśmy przy pomocy bonnie++, procedura testowa była prosta: <ol> <li>zestawienie nowego raida</li> <li>mke2fs -j (ext3)</li> <li>zamontowanie partycji z opcjami noatime i nodiratime</li> <li>uruchomienie bonnie++ z tymi opcjami:"-u nobody:nobody -f -s 65000,8192 -n 0 -x 3" (8192 gdyż taka jest wielkość strony w postgresie)</li> <li>rezultaty dla każdego raida (-x 3!) były uśrednione</li> </ol> Wiedzieliśmy, że docelowo zostanie użyty raid10, więc testowaliśmy głównie różne jego kombinacje. Przeprowadziliśmy 2 oddzielne serie testów: <ol> <li>raid 10, czysto sprzętowy, używając 2, 4, 6, 8, 10, 12 i 14 dysków</li> <li>raid 10, mieszany sprzętowo/software'owy - sprzęt był użyty do zrobienia 7 oddzielnych dysków logicznych, każdy z użyciem 2 dysków fizycznych spiętych w raid1, ale potem były one składane w jeden dysk logiczny przy pomocy software'owego raida (linux, raid0) w urządzenie na 4, 6, 8, 10, 12 i 14 dyskach fizycznych</li> </ol> Testy przeprowadzono z wyłączeniem read-aheada, zapisy były w trybie write-back, gdyż macierz jest wyposażona w pamięć z podtrzymaniem bateryjnym. Rezultaty są trochę dziwne (czerwona linia - raid10 czysto sprzętowy, zielona linia - rozwiązanie mieszane: sprzęt/software): <br><br> <a href='http://www.depesz.com/wp-content/uploads/2007/09/write.png' title='write.png'> <img src='http://www.depesz.com/wp-content/uploads/2007/09/write.png' alt='write.png' /> </a> <a href='http://www.depesz.com/wp-content/uploads/2007/09/rewrite.png' title='rewrite.png'><img src='http://www.depesz.com/wp-content/uploads/2007/09/rewrite.png' alt='rewrite.png' /></a> <a href='http://www.depesz.com/wp-content/uploads/2007/09/read.png' title='read.png'><img src='http://www.depesz.com/wp-content/uploads/2007/09/read.png' alt='read.png' /></a> <a href='http://www.depesz.com/wp-content/uploads/2007/09/seeks.png' title='seeks.png'><img src='http://www.depesz.com/wp-content/uploads/2007/09/seeks.png' alt='seeks.png'/></a> <br> Jeśli wolisz wyniki w postaci tabelek: <br><br> <table border="1"> <tr> <th>name</th> <th>put_block</th> <th>put_block_cpu</th> <th>rewrite</th> <th>rewrite_cpu</th> <th>get_block</th> <th>get_block_cpu</th> <th>seeks</th> <th>seeks_cpu</th> </tr> <tr> <th>2xraid1</th> <td>34820</td> <td>12</td> <td>25105</td> <td>6</td> <td>97459</td> <td>9</td> <td>436</td> <td>1</td> </tr> <tr> <th>4xraid10</th> <td>95427</td> <td>37</td> <td>65661</td> <td>19</td> <td>246490</td> <td>23</td> <td>615</td> <td>1</td> </tr> <tr> <th>6xraid10</th> <td>100367</td> <td>39</td> <td>70955</td> <td>20</td> <td>288188</td> <td>27</td> <td>672</td> <td>1</td> </tr> <tr> <th>8xraid10</th> <td>165980</td> <td>66</td> <td>98887</td> <td>29</td> <td>423983</td> <td>39</td> <td>737</td> <td>1</td> </tr> <tr> <th>10xraid10</th> <td>164195</td> <td>64</td> <td>96039</td> <td>28</td> <td>394442</td> <td>36</td> <td>618</td> <td>1</td> </tr> <tr> <th>12xraid10</th> <td>185671</td> <td>72</td> <td>103271</td> <td>30</td> <td>414942</td> <td>38</td> <td>686</td> <td>1</td> </tr> <tr> <th>14xraid10</th> <td>195349</td> <td>76</td> <td>104087</td> <td>30</td> <td>439088</td> <td>40</td> <td>821</td> <td>2</td> </tr> <tr> <th>2s0@2h1</th> <td>86651</td> <td>32</td> <td>61836</td> <td>18</td> <td>251109</td> <td>24</td> <td>618</td> <td>1</td> </tr> <tr> <th>3s0@2h1</th> <td>110977</td> <td>42</td> <td>79381</td> <td>24</td> <td>356231</td> <td>34</td> <td>708</td> <td>2</td> </tr> <tr> <th>4s0@2h1</th> <td>120232</td> <td>45</td> <td>91988</td> <td>28</td> <td>391041</td> <td>37</td> <td>748</td> <td>2</td> </tr> <tr> <th>5s0@2h1</th> <td>131024</td> <td>50</td> <td>92403</td> <td>28</td> <td>556601</td> <td>55</td> <td>788</td> <td>2</td> </tr> <tr> <th>6s0@2h1</th> <td>123812</td> <td>47</td> <td>93563</td> <td>28</td> <td>482090</td> <td>47</td> <td>778</td> <td>2</td> </tr> <tr> <th>7s0@2h1</th> <td>137513</td> <td>53</td> <td>100083</td> <td>31</td> <td>657221</td> <td>65</td> <td>839</td> <td>2</td> </tr> <tr> <th>2s0@6h10</th> <td>160090</td> <td>61</td> <td>104375</td> <td>32</td> <td>482106</td> <td>46</td> <td>716</td> <td>2</td> </tr> <tr> <th>2s1@2h1</th> <td>44373</td> <td>16</td> <td>25972</td> <td>6</td> <td>99071</td> <td>10</td> <td>651</td> <td>1</td> </tr> <tr> <th>13xraid5</th> <td>222225</td> <td>87</td> <td>113040</td> <td>32</td> <td>392238</td> <td>36</td> <td>806</td> <td>2</td> </tr> <tr> <th>14xraid5</th> <td>222690</td> <td>87</td> <td>114142</td> <td>33</td> <td>398201</td> <td>36</td> <td>809</td> <td>2</td> </tr> </table> <br> Znaczenie kolumny name: <ul> <li>(\d+)xraid(\d+) - $1 dysków w czysto sprzętowym raidzie $2. przykładowo - 6xraid10 oznacza 6 dysków w sprzętowym raidzie 10</li> <li>(\d+)s0@2h1 - $1 dysków logicznych (gdzie każdy dysk logiczny, to 2 dyski fizyczne spięte w sprzętowy raid1) połączone w software'owy raid0. przykładowo 5s0@2h1 oznacza 5 dysków logicznych (każdy z 2 napędów, w raid1) połączonych, dając razem raid 10 na 10 dyskach w układzie mieszanym sprzętowo/software'owym</li> <li>2s0@6h10 - 2 dyski logiczne, każdy składający się z 6 dysków fizycznych połączonych w sprzętowy raid10, połączone w software'owy raid 0</li> <li>2s1@2h1 - 2 dyski logiczne, każdy będący 2 dyskowym, sprzętowym, raidem 1, połączone w software'owy raid1. daje to 4 dyskowa macierz o pojemności pojedynczego dysku.</li> </ul> Jak widać, przetestowaliśmy kilka układów więcej niz pokazane jest to na wykresach powyżej, ale wszystkie pozostałe były jedynie testowe, bez realnego wpływu na jakiekolwiek decyzje. Dziwna sprawa - czysto sprzętowy raid wykazuje "schodki" w wydajności zapisów (i przepisywania danych). Przyrost wydajności był tylko wtedy, gdy ilość dysków była potęgą 2. W raidach mieszanych (sprzęt/software) nie było takiego efektu. Ponieważ macierz ma 15 dysków, zdecydowaliśmy się na użycie takiego layoutu: <ul> <li>1 dysk jako globalny hot-spare</li> <li>2 diskowy raid1 (sprzętowy) na logi postgresa</li> <li>8 dyskowy raid10 (sprzętowy) jako główna przestrzeń (tablespace) bazodanowa</li> <li>4 dyskowy raid10 (sprzętowy) jako dodatkowa przestrzeń bazodanowa</li></ul> Teoretycznie układ ten powinien zapewnić najlepszą wydajność, czy tak było? Po stworzeniu macierzy, założeniu systemów plików, przetestowaliśmy wydajność wszystkich 3 dysków logicznych jednocześnie. Wyników nie rozrysowywaliśmy, gdyż i tak nie miałoby to zbyt dużego sensu. Ale wyniki z testu można podać tabelarycznie:<br><br> <table border="1"> <tr> <th>name</th> <th>put_block</th> <th>put_block_cpu</th> <th>rewrite</th> <th>rewrite_cpu</th> <th>get_block</th> <th>get_block_cpu</th> <th>seeks</th> <th>seeks_cpu</th> </tr> <tr><th>2xraid1</th> <td>30875</td> <td>12</td> <td>15438</td> <td>5</td> <td>39867</td> <td>5</td> <td>224</td> <td>1</td></tr> <tr><th>2xraid1</th> <td>32489</td> <td>14</td> <td>24037</td> <td>7</td> <td>99700</td> <td>9</td> <td>389</td> <td>1</td></tr> <tr><th>2xraid1</th> <td>35096</td> <td>13</td> <td>24708</td> <td>6</td> <td>96969</td> <td>9</td> <td>383</td> <td>0</td></tr> <tr><th>4xraid10</th> <td>41343</td> <td>18</td> <td>31910</td> <td>11</td> <td>61798</td> <td>8</td> <td>109</td> <td>0</td></tr> <tr><th>4xraid10</th> <td>80630</td> <td>34</td> <td>35707</td> <td>12</td> <td>137488</td> <td>18</td> <td>306</td> <td>1</td></tr> <tr><th>4xraid10</th> <td>40136</td> <td>17</td> <td>38388</td> <td>12</td> <td>147282</td> <td>16</td> <td>255</td> <td>0</td></tr> <tr><th>8xraid10</th> <td>42376</td> <td>18</td> <td>37513</td> <td>13</td> <td>155740</td> <td>19</td> <td>302</td> <td>1</td></tr> <tr><th>8xraid10</th> <td>156044</td> <td>65</td> <td>34153</td> <td>11</td> <td>177690</td> <td>22</td> <td>338</td> <td>1</td></tr> <tr><th>8xraid10</th> <td>146096</td> <td>61</td> <td>71307</td> <td>25</td> <td>29568</td> <td>3</td> <td>154</td> <td>0</td></tr> </table> <br> (pokazano tu wyniki każdego testu, czyli po 3 wyniki dla każdej z partycji). Jak widać, wyniki są niższe od oczekiwanych. Dodatkowo, analizę utrudnia fakt, iż test macierzy 8xraid10 skończył się jako pierwszy (bo jest najszybsza), 4xraid10 skończył się trochę później, a 2xraid1 trwał i trwał, i trwał:) <br> Myślę, że wybraliśmy rozwiązanie optymalne przy tej macierzy i kontrolerze, ale tak czy inaczej zastanawiające jest czemu wydajność tak mocno jest powiązana z potęgami dwójki. Thu, 27 Sep 2007 17:04:00 +0200 urn:uuid:36c87337-ecaa-44f4-9a1c-bf52033cc7b8 depesz http://itblog.grono.net/articles/2007/09/27/test-macierzy ciekawostki Dell macierz