04/08/2020

2020 年4 月7 日、午後4 時30 分頃、E メールの送受信が動いていないという連絡を受け、その直後、我々のウェブサーバーの反応がとても遅くなっているという報告を受けました。これがその後9 時間に及ぶ闘いの始まりでした。

問題を特定するために、すぐに調査に取り掛かりました。インターネットのトラフィックが異常に高かった為、全ての作業に時間がかかっていました。我々が始めに疑ったのはDNS サーバーでした。弊社では、3つのDNS サーバーを運用しています。問題がプライマリーDNS と考え、プライマリーをシャットダウン、残り2つのDNS サーバーで運用を開始しました。しかし、問題は良くなる傾向は見られません。

次に疑ったのが、DNS サーバーを狙ったDDOS アタックというサーバー攻撃です。我々のデータセンターには、2つの主要インターネット回線があります。我々のDNS に接続している疑わしい1つのIP を確認し、ファイアウォールでそのIP をブロックしましたが、状況は変わりませんでした。上位サービスプロバイダーに、DDOS アタックの調査を依頼しましたが、我々のデータセンターにへのアタックは確認されませんでした。インターネットトラフィックの問題は外部ではなく内部でした。そこでルーターやファイアウォール、スイッチの状態が正常であるかを確認しました。

それと同時に、我々の内部サーバーに異常がないか確認することにしました。内部サーバーがDNSをアタックしている可能性があるかもしれないと考えたからです。エンジニア総動員で、原因究明に当たりましたが、この時点で何が起きているのかは分かりませんでした。

そして、日本にいらっしゃるお客様もE メールやウェブサイトを使い始める時間になりました。それまで、アメリカ国内のお客様からのお問い合わせがありましたが、日本を含む海外のお客様からも、ご連絡をいただく自体にまで拡大してしまいました。しかし、我々のデータセンターが稼働していなかった為、お客様に問題や修復状況についてお伝えをすることが出来ません。

私は自分の部屋に戻り、エンジニアに原因究明を任せる事にしました。要するに私がいても足手まといということを自覚したのです。その後本社にあるネットワークモニタリングセンターだけではなくシアトルにあるデータセンターでも作業が続きました。この時障害発生から、既に7 時間が経過していました。そこから、弊社エンジニアはDNSサーバに問題を絞り込み、新しいDNS サーバーの構築に取り掛かりました。また同時に、サーバーエンジニアがダウンしているDNS サーバーの調査を開始しました。

その作業中にDNS サーバーの設定ファイルが異常である事に気が付きました。これが原因で、名前解決ができずにトラフィックに問題が起きているのではないかと判断したようです。設定ファイルを正しい情報に書き換えました。それからトラフィックの問題は徐々に緩和され、ウェブサーバーへのアクセスが可能になりました。さらに溜まっていたメールが配送され始めました。しかし、完全に修復するまで、その後2 時間を要しました。

設定ファイルが異常になってしまった原因について、調査現在もしています。しかしながら、あまりに技術的な内容で、私には理解できませんでした。しかしながら、今回の経験から何処を調査するかという貴重な経験を得ることができました。今回の問題を通して、改めて我々が提供しているサービスがお客様にとって必要不可欠なものであるということを実感致しています。この度の件で、多大なるご迷惑をおかけしました事、深くお詫び申し上げます。引き続き、弊社にお任せいただけるのなら、今後も責任をもって最善のサービスを提供していく所存でございます。

上記、この度の経緯を私が理解している範囲で説明させていただきました。

Pacific Software Publishing, Inc.
代表取締役社長
内倉憲一（うちくらけんいち）
ken.uchikura@pspinc.com
https://www.pspinc.com