東京証券取引所で2020年10月1日に起きたシステム障害の全容が徐々に見えてきた。障害の原因は、富士通が納入したNAS（Network Attached Storage）のファームウエアの設定不備にあった。
2台構成のNASでメモリー故障に起因する障害パターンが発⽣した際、NASの冗長化が機能しない設定になっていた。東証で10月1日に起きたシステム障害は、全銘柄の売買を終日停止するという未曽有の事態を招いた。
東証が取引を全面的にシステム化した1999年以降、システム障害で全銘柄の売買を終日止めたのは初めて。これにより、3兆円規模の売買機会が失われた。NASのメモリー故障が発端
システム障害の発端は、東証の株式売買システム「arrowhead（アローヘッド）」のNASに搭載したメモリーの故障にあった。
業務サーバーで使うユーザー情報などを格納するNASは2台あり、Active-Active構成で冗長化していた。
このうちの1台のメモリーが故障し、本来なら1台のみの運用に自動で切り替わるはずが、うまくいかなかった。原因はNASのファームウエアの切り替え用設定値の不備にあった。
東証はarrowheadを2019年11月に刷新する際、事前のテストで2台のNASの死活監視を途絶えさせて、自動で切り替わることを確認していた。
だがその際、今回の設定不備は見抜けなかった。設定作業そのものは富士通が実施していたという。この記事は有料会員限定です。次ページでログインまたはお申し込みください。
- はい
- メモリーと言っているのに、目盛と思うジジ嫌い
- 定期点検してないの？
テストは？ - ハード障害を想定したテスト項目の抽出漏れ、だよな。
テスト工数貰えなかったのかい？ - 冗長化という日本語を何とかしろや
わけわからんわ(´・ω・｀) - >>6
あえて無駄を受け入れる
って意味だしそこまで難しいこ言葉か？ - 続きが気になる
- なるほど、つまり要約すればコンセントに足を引っかけた、と
- >>8
掃除のおばちゃんの不注意か、それじゃしょうがないな - まともな投資家は米国株しか触らんからね
日本株なんてどうでもいい - >>9
バフェット「日本株買うわメッチャ買うわ」 - >>9
よう中卒引きこもり - 冗長とは無駄なもの。
機能してしまっては冗長化とはいえない - アクティブアクティブなら
1号2号同じ仕事してたのか - >>11 その単語だけではそうとは限らないかな
非同期でもAAはあり得るけど同じとは言えないし、同期AAなら同じと言える - 麻婆NAS
- またまたご冗談を
- 富士通の責任じゃん
- >>16
そうは言えない。そんなこと考慮しなくていいから早くプロジェクト進めって東証が要請していた可能性もある - >>21 古い契約でも1年以内の納品物だしその言い訳は通用しないだろｗ
瑕疵を逃げる事はできんよ - >>16 それは確実
つうか自社の同システム環境で納期に間に合わない試験は逐次やるべきだった
どうせかなりボッタな保守組んでるはずなのに1日はさすがに叩かれてもしょうがない - NASのメモリ異常のテストとか、出来んわな
- 帰国子女には難しいの(´・ω・｀)
- 🍆はやめとけって言ったろ
- よし！
- 片方死んでもええように2つ動かしてたのに片方死んだだけで止まったとかギャグやん
NASも今まで何してたんだって思うやろ - >>26
普通冗長化試験だとNICのリンクダウンやプロセス断の切り替わり位しかテストせんからな
メモリは流石にECCだろうし1箇所潰れても動き続けるやろ程度だったんじゃね？
むしろ両activeという恐ろしい事態は避けたいだろうし - >>26 まぁ理想ではそうなんだけど物理冗長は成功例が少ないからね
仮想冗長がようやく絵になって来たけど、物理冗長は「論理的には・・・」だよクリティカルな運用なら実機だ！ って人多いからね
- 冗長化＝バックアップシステム
- サーバを二重化させたシステムって、こういう故障はだいたい切り替わらないよね。
死活監視をnicだけでやってると、本当に切り替わらない。 - >>30
そりゃあ切り替わらない事例しか報道されないからな
無事に切り替わってるシステムについてはそもそも語られない - >>41 いやいやｗ たんにエラーが起きないだけだよｗ
- 鯖管「ようやく俺たちの必要性が認知される時が来たか……」
これからは肉眼で異常を監視するのが鉄板になる
- active-active構成だったの?
話がつながらないけど
- >>33
最初の会見の時点でうまく切り替わらなかったので故障したほうのdisk装置を手動で切り離したって言ってたじゃん
active-activeなら整合してる - さすがFさん
- 茄子とか冗長化とか意味が分かりません
- 設定ミスではないと思う
そもそものテスト仕様の漏れ
テストの項目にメモリ障害があって切り替わるかどうかのテストをしていないだけ - >>39
富士通はテストがうまくいくようにテスト項目を設定する会社なので - >>39
テストをやらなかったからバグを見つけられませんでしたって言うSEはレベルが低い - メモリ障害を想定したテストってできるのかな
- >>40
「メモリ障害が発生したらハードからこういうアラートが上がるからそれを擬似して試験する」が関の山だろうなあ - >>42
それで十分や - >>42
そっかー
やっぱsnmpなりログ監視なりで気づくしかなさそうだけど今回はそれじゃ拾えなかったんかね - 任意のタイミングでメモリを故障させられるゴッドハンドしかそんなテスト無理や
- 要するにバックアップシステムが働かない設定にしてたんだろ。
バカやん。売買機会失った株主に弁償しろ。 - 俺の株に影響なかったんでどうでもいい
- 正直に足引っ掛けてコンセント抜いちゃったって言っちゃいなよ
- 時代はクラウドですよ！
- 冗長ってのは本来無駄があるって意味だから、これは真の意味での冗長化で間違い無いよ。
- アローズみたいな呪われた名前にしてるからだろ
- ファームのデフォルト設定がコレなの？
- >>57
デフォルトかどうかでもだいぶ印象変わるよな - これって富士通が悪いのか？
- 原因を追求するの面倒だから設定間違えましたというオチだろ
- 大規模導入プロジェクトはユーザーと逐一意識あわせする
基本設計や詳細設計は全部ユーザーの承認を受ける
冗長設計も冗長試験手順も全部承認されてたら富士通だけの責任ではない
とはいえ日本文化的に富士通が謝るのが美しい幕引き - >>62
外資系だとその辺をガチでやり合っちゃうんだよなｗ - 本当の原因はなんなんだろな
- じ、冗長化
- そうかな？意図的に日本で売買させたくなかった勢力がいたとは考えられないだろうか？
- 蛆
- 認知症の新しい呼び名かと思った
メモリー障害児認知症は「児」じゃないだろ、と思って気付いた
- 下請技術者の低レベル化が激しくね？
言われなくても忖度してチェックとかするだろ - >>71 無理だな
メモリエラーはどのメーカーも検証もチェックもしていないと思うぞ - >>71
忖度するデメリットがメリットを大幅に上回ってるのにやるわけないだろ
相応のカネ払えよ - 本番環境で切り替えのテストやってなかったの？
そんなマヌケな事ってあるのか - >>74
単純な切り替え程度ならやってる - >>77
要するにテストケース漏れじゃん - ソフトエラーとかで頻発してOFFにしてたとか？
- 具体的にどういう設定なのか知りたいな
それを見ないとなんとも言えない - もしかして民生のサーバ用マザボ・メモリ以下の信頼性なの？
【東証トラブル】富士通「メモリー障害時に冗長化が機能しないようファームウエアを設定してた」
ニュー速
コメント