2012/05/29 09:39 スレーブデータベースサーバに障害発生。
2012/05/29 11:00 スレーブデータベースサーバ復旧。(ただし、後に不完全だったことが分かる)
2012/05/29 17:00 スレーブデータベースサーバのレプリケーションが行われていないことが発覚。
2012/05/29 19:00 スレーブデータベースサーバの完全復旧作業開始。
2012/05/29 23:00 復旧作業一時中断、大百科サービス仮復旧。
2012/05/30 --:-- 復旧作業再開。ニコニコ大百科を支えるEeePCは2台とも元気です。このページもEeePCを経由して配信されています。
そういえば、去年のDBサーバ障害も5月でしたね。大百科のサーバーは5月が苦手な様子。
http://dic.nicovideo.jp/error.html
EeePCが採用されているのはニコニコ大百科のフロント部分で、すべてのHTTPリクエストを受け付けてLVS(Linux Virtual Server)でロードバランスし、セッション情報をrepcached(memcachedにレプリケーション機能を追加実装したもの)に保持している。EeePCでは、ログを止める、tmpfsを使うなど、徹底的にファイル書き出しを排除している。
ニコニコ大百科のアーキテクチャとは 次世代サーバプラットフォームは「EeePC」?:CodeZine(コードジン)