前回、Web2.0の時代を制するは「立地条件のいいデータセンタ」と「運用能力」だという話を紹介した。その立地条件というのは電力・冷房・帯域幅の３つなのであるが、実際にGoogleやMicrosoftやYahoo!などのデータセンタはどこにあるのだろうか？　今回は、オープンソースの話題から脱線して、この話題を少しだけ追ってみる。実は、今年の6月14日のThe New York Timesの記事「Hiding in Plain Sight, Google Seeks More Power」や、6月29日のCNET News.comの記事「Jostling to get inside Google's Oregon outpost」で話題になっていたのである。

地図や写真についてはFlickrに置かれているものがある。たとえば、Google Campusや、Google's Oregon Data Centerや、Google Structureを見ると、巨大な冷却設備を屋上にもったデータセンタらしい建物が写っている。場所は、全米の都市のなかで一番住みやすい街として知られるオレゴン州ポートランド市の80マイル東に位置する、The Dallesという市の郊外。オレゴン州とワシントン州の州境を流れる流量豊富なコロンビア川に面したアルミニウム精錬所の跡地ということである。GoogleはThe Dallesダムという巨大な水力発電所からの安い電力の恩恵に与ることができるのである。ちなみに、MicrosoftとYahoo!はここから北北東に130マイル、コロンビア川のさらに上流のワシントン州WenatcheeとQuincyにそれぞれ巨大なデータセンタを建設中とのことである。また、このあたりには、ドットコムブームのときに敷設された光ネットワークがあまり使われずに残っているそうである。

そもそもGoogleは何台のサーバを使っているのだろうか？　2001年3月の時点では、7千万ページのWeb検索に対して8千台のサーバを使っていた。2003年にはサーバ数は10万台になっていた。現在は正確な値は分からないが、少なくとも世界25箇所に計45万台のサーバが分散配置されているものと推測されている。センタの場所としてはアイルランドや、最近完成したアトランタが知られている。Microsoftは、現在20万台のサーバをもち、積極的な投資を続けた場合には2011年までに80万台になると予想している。

さて、データセンタに詰め込むサーバの詰め込み方について考えてみよう。ブレードサーバなどのように高密度でラックに実装できるサーバをどんどん詰め込んでいけば最も効率が良いのだろうか？　APCのダウンロードサイトにある「White Paper #46　高密度にサーバを搭載するラックおよびブレードサーバの電力供給と冷却の対策」という資料を見てみると、答えは「No」のようである。APCというのは、American Power Conversionという企業で、そこのCTOであるNeil Rasmussenが2003年に書いた資料である。

たとえば、42Uのラック１本にブレードサーバをフルに詰め込むと、18kWの電力と18kWの冷却機能をこのラックに供給しなければならないが、これは現状（2003年時点）のセンタ運用実績の約10倍の数値である。電力の供給は何とかなるのだが、問題は冷却条件の方だという。オーバーヒートさせないためには、１分間に70立方メートルの冷風をラックに供給し、かつ、ラックから排出された熱気を取り除き、かつ、循環しないようにし、さらに、これらが冗長性をもって継続的に（たとえば停電時でも）為されなければならない。これを実現するためには、通常の４倍以上の初期投資と運用経費がかかるという。また、ラック１本あたりの消費電力が4～5kWを超えると、サーバが小さくなって高密度実装できるようになっても、電力と冷却設備に必要となる面積の方が大きくなってしまって、それ以上のスペースの縮小はできないというのである。

現実にはデータセンタにかかるTCO（Total Cost of Ownership）経費のうち、75%が電力で、残り25%がスペースにかかる経費で、ラック１本あたりの消費電力が4kWを超えるとTCOは増加し始めるという。すなわち、ブレードサーバを用いてサイズを縮小するよりも、消費電力を削減する方がTCO削減の効果が出るというのである。ちなみに、サーバのサイズを50%縮小してもTCOはわずか4%しか削減できないが、消費電力を50%縮小すればTCOは35%も削減されるという。

そう言えば、最近のハードベンダは、低消費電力や冷却効率の良さを売り文句にしている。ただし、これらの測定方法がベンダ個別であり、標準があいまいなことから、業界としてこの標準測定法を定めていこうという動きがある。写真の巨大すぎる冷却装置を見るとデータセンタにおける冷却の技術もどんどん進歩しているのかもしれないが、一体、Googleはこのセンタにどのようなサーバをどのように詰め込んでいくのだろうか。オープンソースの活用とはまったく別の技術イノベーションが進行しているようである。