Facebook Veri Merkezine Yakın Markaj

Time dergisi, Facebook’un Santa Clara’da kullandığı kiralık veri merkezinden fotoğrafları yayımladı. Yaklaşık 500 milyon kullanıcısı olan bir servisin arkasında ne tür bir donanım yığını çalıştığını görmek için iyi bir fırsat. Aynı zamanda Facebook’un Oregon eyaleti, Prineville’de inşa ettiği ve 2011’in başlarında devreye almayı planladığı ilk tamamen kendine ait veri merkezi’nin tamamlanmasına da çok az kaldı. Bu yazıda Time’ın görüntüleri üzerinden Facebook’un bugünkü altyapısına bir bakış atıp ardından Prineville’in neden bu kadar konuşulmayı hak ettiğine değinmek istiyorum. Önceki Facebook Oregon’da Veri Merkezi Açıyor yazımı da hatırlatmış olayım.

Santa Clara: bugün nerede duruyor

Facebook’un mevcut yapısı, büyük ölçüde kiralık veri merkezlerine, başta Santa Clara olmak üzere, Virginia ve diğer noktalarda, dağılmış durumda. Time’ın yayımladığı fotoğraflar üzerinden birkaç gözlem yapmak mümkün:

• Sıralar standart hot-aisle/cold-aisle düzeninde; kapalı koridor (containment) çözümleri kullanılıyor ama tüm rack’lerde değil.
• Sunucular büyük ölçüde 1U-2U sıkıştırılmış, Dell ve diğer OEM markalı görünüyor. Henüz Facebook’a özel görünen bir mekanik tasarım bu fotoğraflarda öne çıkmıyor.
• Üst kablo trasiği ve dağıtım panoları görece klasik enterprise-grade düzenlemeyi yansıtıyor.

Facebook’un bu yapı içinde yıllardır en çok bahsettiği konu, MySQL + memcached çiftliği oldu. Memcached cluster’ı muhtemelen 28 binin üzerinde sunucu işliyor (bu sayıyı Marc Kwiatkowski’nin son sunumlarından çıkartabiliriz) ve Facebook trafiğinin büyük kısmı önce memcached’i, sonra MySQL’i sıkıştırıyor.

Bu mimari ile büyümek mümkün olmuş olsa da maliyet ve verimlilik perspektifinden bir tavan var: kiralık tesiste yapılan iyileştirmenin sınırı, kiraladığınız mülkün sınırlarıdır. Facebook bu sınıra çoktan dayandı, ve cevap olarak Prineville’i inşa ediyor.

Prineville: neden bu kadar önemli?

Facebook, Ocak 2010’da Oregon eyaletinin Prineville kasabasında bir veri merkezi inşa edeceğini duyurmuştu. Tesis bu yılın sonuna doğru fiziksel olarak hazır hale geldi; ilk faz 2011’in ilk çeyreğinde devreye alınacak. Birkaç noktası onu sektörde dikkat çekici bir vaka haline getiriyor:

1. PUE hedefi: 1.15

Bilmeyenler için PUE (Power Usage Effectiveness) veri merkezinin tüm tükettiği enerjinin BT yüküne giden enerjiye oranıdır. 2.0, BT yüküne giden her watt için bir watt daha soğutmaya, aydınlatmaya, UPS kayıplarına gittiği anlamına gelir. EPA’nın 2010 ortalama tahmini ABD’deki kurumsal veri merkezleri için 1.91. Google, 1.16 civarında değerlerle (PUE konusundaki en agresif duyuruları yapıyor) sektör liderliğini taşıyor.

Facebook, Prineville için 1.15 hedefini sözlü olarak telaffuz ediyor. Eğer açılıştan sonra bu rakamı gerçekten yakalayabilirlerse, sektörün lider değerlerinden biri olacak.

2. Buharlaşmalı (evaporative) soğutma

Prineville’in seçilmesinin tek nedeni Oregon’un düşük elektrik fiyatları değil. Bölgenin yüksek rakımı ve kuru iklim koşulları, chiller-less veri merkezi tasarımı için ideal. Geleneksel veri merkezleri büyük chiller (su soğutucusu) ünitelerine ve compressor tabanlı klimalara bağımlı. Facebook’un Prineville tasarımı, çoğunlukla dış havayı doğrudan içeri çekip buharlaşmalı (evaporative) soğutma ile ısı çıkışını sağlıyor. Yani neredeyse kompresörsüz soğutma. Sıcak yaz günlerinde su buharlaştırılarak hava soğutuluyor; kışın zaten dış hava yeterince serin. Bu, soğutma kalemindeki enerjinin %80’e yakınını ortadan kaldırma vaadi.

3. Yüksek voltaj UPS modeli

Klasik bir veri merkezinde elektrik şu yolu izler: şebeke → trafo → UPS (AC-DC-AC) → PDU → rack PSU (AC-DC) → sunucu. Her dönüşümde verim kaybı var; tipik UPS verimliliği %94 civarında, üst üste binince ciddi kayıp birikiyor.

Sızıntı raporlara göre Facebook’un Prineville tasarımında trafodan gelen elektrik 48V DC bus üzerinden veya 480V yüksek voltaj ile doğrudan rack’lere taşınıyor; UPS olarak da rack düzeyinde küçük batarya backup’ları kullanılıyor (Google’ın 2009’da duyurduğu modele benzer). Bu hem zincirdeki dönüşüm sayısını hem de büyük merkezi UPS’in verim kaybını azaltıyor.

4. Özelleştirilmiş sunucu donanımı

Prineville’in en konuşulan boyutu bu. Facebook ekibinin son aylarda yaptığı konferans konuşmalarında ve sektör söylentilerinde tutarlı bir tablo çıkıyor: standart Dell/HP sunucularını terk ettiler ve ihtiyaca özel olarak tasarlanmış, gereksiz bileşenleri çıkarılmış, daha verimli güç kaynakları kullanan, daha az metal/plastik içeren sunucular sipariş ediyorlar. ODM (Original Design Manufacturer) firmaları üzerinden, Quanta gibi Tayvanlı üreticiler, tasarlanmış olduğu konuşuluyor.

Henüz Facebook bu tasarımları tam detayıyla kamuya açmadı; ama Prineville’in açılışına yakın bir teknik duyuru beklemekte olduğum konulardan biri. Eğer tasarımları paylaşırlarsa, sektör için Google’ın yıllardır gizlediği “ev yapımı sunucu” sırlarının bir alternatifi ortaya çıkmış olacak.

Mekânın seçimi: Prineville neden?

Birkaç pratik nedenden:

• Elektrik fiyatı. Oregon, Pacific Northwest bölgesindeki hidroelektrik bolluğu sayesinde ABD ortalamasının çok altında elektrik fiyatlarına sahip. Pacific Power’ın Facebook’a verdiği özel tarife konuşuluyor.
• İklim. Yüksek rakım, kuru hava, chiller-less tasarım için ideal.
• Vergi teşvikleri. Crook County yerel yönetimi, mülk vergisi muafiyetleri sundu.
• Genişleme alanı. Tesis, ileride kolayca ikinci ve üçüncü faza genişletilebilecek bir arsada konumlanmış.

Google da 2006’da The Dalles’ı (yine Oregon eyaletinde) benzer nedenlerle seçmişti; Prineville bunun bir tekrarı sayılabilir.

Sektör açısından ne anlama geliyor?

Facebook’un kendi tesisini açması, internet ölçeğinde hizmet veren şirketlerin altyapı stratejilerinde yaşanan büyük dönüşümün son halkalarından biri. On yılın başında bu ölçekteki şirketler kiralık veri merkezlerini ve OEM sunucularını kullanırken, on yılın sonunda Google, Microsoft, Yahoo, Amazon ve Facebook gibi oyuncuların hepsi kendi tesislerini yapıyor ve önemli bir bölümü kendi sunucularını tasarlatıyor.

Bu bir tür “dikey entegrasyon”: uygulama → veritabanı → işletim sistemi → sunucu → soğutma → bina → enerji zincirinin her halkasına müdahale edebilmek, ölçeğin getirdiği büyük tasarrufları cebe indirebilmek için artık bir zorunluluk haline gelmiş durumda.

Türkiye için bu hâlâ uzak bir hikâye, hiçbir Türk internet şirketinin bu ölçekte bir altyapı yatırımı yapması gerekmiyor. Ama enterprise cephesinde de tesis tasarımına dair fikirlerin yavaş yavaş sızması bekleniyor: containment, sıcak koridor izolasyonu, daha yüksek sıcaklıkta çalışan sunucular (ASHRAE 2008 standartlarındaki gevşemeler), serbest soğutma. Bu kavramlar artık sadece Google ve Facebook’un değil, ortalama Türk veri merkezi tasarımcısının da gündeminde olması gereken kavramlar.

Prineville’in 2011’in başında resmi açılışıyla beraber Facebook’un PUE rakamlarını ve sunucu tasarım detaylarını paylaşmasını umuyorum. Açıldığında detaylı bir takip yazısı yazacağım.