【障害】ヤフー子会社ファーストサーバ、復旧困難な大規模サービス障害。

時事ニュースをチェックする
6月20日、ファーストサーバの一部のサービスで障害が発生し、Webやメールのデータが消失した。対象サービスは、ビズ/ビズ2/エントリービズ/エンタープライズ3/EC-CUBEクラウドサーバ マネージドクラウド。

消失したデータは、サーバー上にアップロードされたデータ(FTP、ファイルマネージャ等)、コンフィグレータ設定を含むデータ、メールボックス内のデータなどとなっている。メールデータに関しては障害発生時に受信していないデータは消失しており、障害発生後は受信ができず、送信元にエラーが返るという。原因は「メンテナンス作業において用いる特定の管理プログラムのバグ」と発表されており、管理領域にも損失が認められたという。

※後略
http://tech.ascii.jp/elem/000/000/704/704142/


いわゆる格安のレンタルサーバだけどビジネス向けサービスも入ってる。
最悪なのがバックアップサービスを導入してても、今回のは復旧できない見込みが高いこと。
理由は単純明快で、バックアップといいつつ同じデータ領域にコピーをしただけという意味不明なサービスだったから。
バックアップって言うなら、せめて物理的に異なるストレージに取れよ。

サービスにあるサイボウズ「サイボウズ Office 9 for ASP」も被害にあってるみたいだね。


続報

大規模障害の概要と原因について(中間報告)

■ 障害の原因
原因1:脆弱性対策のための更新プログラムの不具合
脆弱性対策のためのメンテナンスが必要となる都度、メンテナンスのための更新プログラムを作成しており、今回も更新プログラムを作成しています。

そのプログラムの記述において、ファイル削除コマンドを停止させるための記述漏れと、メンテナンスの対象となるサーバー群を指定するための記述漏れが発生していました。

原因2:メンテナンス時の検証手順
メンテナンスに際しては、検証環境でまず動作確認を行うという手順が定められていましたが、プログラム実行後の動作確認を行う対象は、あくまでも当該メンテナンス対象サーバー群を確認すれば足りるとされていたため、検証環境下で対象サーバー以外に影響が及んだことの確認がないまま、動作確認上は問題なしと判定され本番環境での実施が行われました。

原因3:メンテナンス仕様
システムを含むデータのバックアップは毎朝6時に取得しております。

しかしながら、脆弱性対策のためのメンテナンスはバックアップをしてあるシステムについても実施しておかないと、メンテナンス実施後にハードウェア障害が発生してバックアップに切り替えた途端に脆弱性対策が講じられていないシステムに戻ってしまうことが過去に発生し、脆弱性対策がなされていないシステムが動き続けていたという反省に立ち、脆弱性対策のメンテナンスに関しては対象サーバー群とそのサーバー群のバックアップ領域に対して同時に更新プログラムを適用するという構造に修正して実施しました。

そのため、今回のメンテナンス実施において、対象サーバー群のデータ消失と同時にバックアップ領域のデータも消失したという事象に至っています。

http://support.fsv.jp/info/nw20120625_01.html



要は削除コマンドを制限なく実行したってことか。
てか、バックアップって同一ストレージに置いてるから障害が機器自体に障害が発生した場合、バックアップデータも消失するなんて記述がサービス概要にあった気がするんだけど。
絵を見るとまるで別のものみたいに書いてるのが気になるな。

ま、IT屋の公式発表なんて眉唾。

》その他のニュースを探す
にほんブログ村 ニュースブログ 時事ニュースへ
【事故の最新記事】
2012/06/22 | Comment(0) | TrackBack(0) | 事故 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

この記事へのトラックバックURL
http://blog.seesaa.jp/tb/276675761
※ブログオーナーが承認したトラックバックのみ表示されます。

この記事へのトラックバック
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。