本番環境で（過度な）テストは禁物！

とある緊急の連絡が入る…データベースが動かなくなったので助けてほしいと。サーバー自体が生きているのにデータベースが突然停止するという時点で、予約していた容量がいっぱいになってしまっただとか、施設全体のネットワーク構成が変わってしまった等、すぐにいくつかの原因が思い浮かぶのだが、担当者と症状を確認していく中で、どれも当てはまらない…どうしたことか。先方のITとのやりとりの末、リモートデスクトップの許可が下り、サーバーを覗いてみることに。驚くことに、そこにはデータベースの正しい動作に欠かせないファイルがごっそり無くなっていた…当然、自然と消えるものではなく、何かが原因で消されてしまったのだ。

侵入テストやってみました！

「何かの拍子にデータベースソフトウエアを間違ってアンインストールしてしまったのか？」色々確認していく中で、少しずつ何が起きたのかが再現される。サーバーの脆弱性を調査する目的で行われる侵入テスト（ペネトレーションテストとも）というものがある。実際に侵入や攻撃を試みて、侵入や攻撃が出来てしまった場合はそれを今後どうやって防げるかを調査するもので、対策ツールの導入の是非検討とセットで行われる。これ自体、IT部門がしっかりしている証拠であり、実施すること自体は評価すべきであるのだが…今回はそのテストで頑張りすぎて、結果的にデータベースを再起不能にしてしまったという。

本番環境でテストはやめて！

…そして、最悪なことに、テストが本番環境で直に行われたため、業務自体もストップするという事態になってしまった。バックアップが取れていれば復旧なんてどうと言うことは無いのだが、如何せん導入先で管理しているサーバーであるため、何が起きたのかがまずわからない。窓口担当者が間に入って、IT部門との情報のやりとりが行われる。先方は「インストールし直してくれ！」と言うが、インストールしてバックアップから復旧ということは、そのバックアップが取られた時点から行った操作は全てパーになるのだから、安易に首を縦にふるのは躊躇う。

何故、本番環境でこんな乱暴なテストを行うのか、という議論をこの時点でしても何の益も無いのだが、本当に悔やまれる。テストの内容を見ても、ここまでする手腕があるのに、別途テスト環境を設けようという発想は無かったのだろうかと、残念でならない。と、これも勉強。こういうこともあるんだなと言うことで次からはテスト環境の是非の議論も必ずするようにしたい（注：必ず必要、ということは無い）。

バックアップの大切さ

普通、バックアップからの復旧なんて滅多に行われるものでは無い。いままで対応してきた「データベースが動かなくなった」系のサポート案件も、基本的には動かなくなったデータベースを「復活」させることが多く、よくよく考えてみるとお客さんの本番環境をバックアップから復旧させるのは初のことかも知れない。バックアップなんて、ありがたみがわかることの方が少ないのだが、この一件を通して改めて重要さが実感できた。そしてバックアップからの復旧も、定期的におさらいしていて良かったと、謎の感動もあった。

ということで…！

侵入テストをガッツリとやってくれること自体、とてもありがたいこと。Windowsサーバーのセキュリティ、その中でどのようにユーザーアカウントを作るのか、ファイアウォールの設定はどうするのか、セキュリティのリソース（人材）の問題、そのサーバーを他の用途にも使いたいのか…色々なシチュエーションがあるので「これがセオリー」というのは難しいかもわからない。しかし…本番環境で（乱暴な）テストを行う前に、テスト環境を設けることを検討してほしいというのは、切に切に願うところ。