EY-Office ブログ

昔話:バックアップは超重要

先週の記事バックアップは超重要です! と書きましたが、昔バックアップが無くて大変な事になったのを思い出しました(もう時効だと思うので書きます)。

バックアップが無かった

宣伝

今週から、Zoom等を使ったリモート教育を開始しました!
詳細は近いうちに発表いたしますが、お急ぎの方はお問い合わせください。

昔々あるところに

昔々あるところに大企業があり、そこには過去の話シリーズ(6)に書いた光ディスクを使った大規模な図面管理システムがありました。そこでは、スキャンした10万枚の図面が管理されていました。
図面管理システムの重要な機能は製品全体の図面を出図(印刷)することでした。図面の台帳はホストコンピューターで管理されていましたので、図面番号の一覧をホストから受け取り対応する図面の画像データをオートチェンジャーの付いた光ディスク装置から読み出し印刷していました。

図面管理システムでもいろいろな情報をOracleデータベースで管理していました。システムはハードを含め何度かバージョンアップしていて、光ディスクのファイル名は初期には連番、途中から図面番号になっていました。

大規模なシステムなので、システムはコンピュタールームに置かれ、管理責任者の方もいて昼夜動いていました。当然データベースはオープンリールの磁気テープにバックアップされていました。オープンリールの磁気テープを知らない方はリンクしたWikipediaのコンピュータ用のところを眺めてみておいてください。

悲劇の始まり

ある夏、例年通り台風がやってきました。その時は停電がおき、運悪く瞬断が何度も起きました。

システムは稼働中だったので、瞬断から電源が復帰した際にサーバーは自動的なディスクの復旧作業が完了し、Oracleのリカバリ処理が開始しました。

しかし、リカバリ処理中にまた瞬断が発生してしまいました!

その当時のOracle(Ver. 5だったと思います)はリカバリ処理中に瞬断等が発生すると、もう2度と復旧出来なるものでした。サポートに連絡しましたが、やはり復旧できませんでした・・・・

このような時のためにバックアップがあります!! システム管理者の方がバックアップの磁気テープをリストアし始めました。

しかし、エラーが発生しバックアップの磁気テープが読み込めません!!!

実はバックアップが・・・

バックアップの磁気テープは容量の関係で2本になっていました。またシステム管理者は正式な管理者と夜間のアルバイトの管理者がいました。そしてアルバイトの管理者がバックアップ作業をしていました。

バックアップソフトは、1本目の磁気テープが一杯になると「次の磁気テープに入れ替えてください、入れ替えたらReturnキーを押してください」のようなメッセージをコンソールに英語で表示しますが(OSは日本語化されていませんでした)。アルバイトの管理者は、英語のメッセージはまったく無視し磁気テープを取り取り替えずにReturnキーを押していたそうです。

1本の磁気テープにバックアップの後半が上書きされていたのです!!!!

復旧作業の日々

このシステムの一番重要な機能は図面を印刷です、しかし初期に書かれた光ディスクのファイル名は連番でした。図面番号から連番の変換が出来ないと印刷はできません。

正式なシステム管理者の方は青くなりながら、これが復旧できないと私はクビになります・・・ と言いながら図面番号と連番が印刷された過去のリストをかき集めたり、他のシステム用に書き出した図面の画像ファイル(ここには図面番号・連番の情報が書かれていました)をかき集め、それらの情報から図面番号・連番の対応データを復元を始めました。

私も復元のためのツールを多数作りました。

また、このトラブルの連絡を受けたとき我々の開発チームはハワイの別荘(バブルの頃の話です)にこもって新規商品の開発合宿を行っていたので、ハワイからモデムでこのシステムにログインしいろいろな作業を行いました。
そして、このシステムに一番詳しかった私が合宿から離脱し、日本に帰って来ることになりました・・・・

まとめ

図面番号・連番の対応データを完全に復元できるるまでには半年くらいかかったでしょうか(?) システム管理者の方はクビにはならず、その後は出世して行かれましたが・・・
バックアップが正しく取れてなかったために、こんな大変な事が起てしまいました。

もう一度書きます、バックアップは超重要です!

宣伝

今週から、Zoom等を使ったリモート教育を開始しました!
詳細は近いうちに発表いたしますが、お急ぎの方はお問い合わせください。

- about -

EY-Office代表取締役
・プログラマー
吉田裕美の
開発者向けブログ