久々の徹夜作業

いやぁ、かなりの綱渡り。

発端はちょうど12時間くらい前。
今の職場で作成している某サイトをホスティングしているサーバーに対して、ファイルのアップロードができない、という報告を受けたので、ちょっと調べてみること数分。

もともとサーバーの運用の知識はそれほどないので、すぐには原因がわからないかな、と思い、ホスティング屋さんに報告。少々待ったあと以下の返事が。

> ファイルシステムに一部矛盾領域が発生している模様です。
>
> hda: dma_intr: status=0x51 { DriveReady SeekComplete Error }
> hda: dma_intr: error=0x40 { UncorrectableError }, LBAsect=245952, high=0, low=245952, sect
> or=37104
> end_request: I/O error, dev 03:02 (hda), sector 37104

なんだかとても嫌な予感が・・・。

すぐには現状が把握できなかった私ですが、それでも最後の「I/O error」という響きにとてもヤヴァげな予感。さらにホスティング屋さんからの報告は↓のように続いていて、

> 一度、サーバを停止してFSCK（ファイルシステムチェック）
> を実施させていただきたいと思います。
>
> 作業時間は3～4時間程度見ていただきたいと思います。
>
> 念のため、お客様にてバックアップを取っていただいた後に
> 弊社にて作業を実施させていただきたいと思います。

これまでバックアップ体制がしっかり整っていなかったので、バックアップサーバーを増強しましょう、という話がきまったのが結構最近で、その作業を3日後に控えていたのですが、その直前に緊急事態発生。もう泣きそうです。

ただ、FSCKをかけて何か問題があったら大変なので、取れるバックアップは全てとることにしました。とりあえず、WEBサーバーをとめてもらって、その間にバックアップ作業をすすめることになったんですが、そのバックアップ対象のデータが大きいこと、大きいこと。

しかも、このバックアップ作業を行っている間、いろいろ検索して調べてみると上記エラーがでるのはHDDが逝かれている（またはその一歩手前）という状況らしいじゃないですか！？
これはHDDの緊急交換もありえる？と、さらに危機感を募らせながらバックアップ作業＆ホスティング屋さんとの連絡を続けること数時間。ホスティング屋さんの意見もやっぱりHDDが危ないのでは、という感触を持っているようでした。

で、やっとバックアップ作業が終わったので、ホスティング屋さんにFSCKをかけてもらいました。それが今からだいたい4時間前。ここで無事復旧してくれると、当面の危機は回避できる（まぁ、また同じことが再発する可能性も無きにしも非ずなんですが）ので、祈る気持ちで待つこと4時間弱。

そして、先ほどその結果をいただいたのですが、今回は最悪の事態を免れたようです。ただし、HDDの交換は必要ないのか等、まだホスティング屋さんとやりとりを続けている状態なので、今日はもう少し頑張らないと・・・。

先週末は別件でかなりてんぱっていて、その山を数日前に乗り越えたので、今週末はゆっくりと骨を休めようと思っていたのに、このタイミングでさらに大きな山がやってくるとは想像してませんでした。。ふぅぅ。