スイスチーズモデル
守り(レビュー・テスト・権限・監視)は、どれも完全ではなく穴(弱点)があります。穴がたまたま全部そろったときに、事故が起きます。だから守りは何重にも重ね、1 枚の穴を責めるより、穴がそろわない仕組みを考えます。
リスクは「まだ起きていないけれど、起きると困ること」。ゼロにはできないから、大きいものから手を打つ。
考え方の道具、AI 時代のリスク、実際の事故から学べることをまとめました。
リスクの大きさは、だいたい「起こりやすさ」と「起きたときの影響」のかけ算で考えます。
開発でよくあるリスクを 12 個(紫の点は AI まわり)、起こりやすさ(横)と影響(縦)で並べました。右上ほど危ない。「対策の後」を押すと、対策でどこへ動くかが見えます。番号を押すと中身が出ます。
見つけたリスクには、この 4 つのどれか(組み合わせ)で向き合います。
Amazon の創業者ジェフ・ベゾスは株主への手紙で、元に戻せる決定を「引き返せるドア(two-way door)」と呼び、軽い手順で早く決めてよいと書いています。逆に、戻せない変更は時間をかけて慎重に。全部に同じ慎重さで向き合うと、遅いうえに大事な所で疲れてしまいます。
失敗をなくすのは無理でも、失敗したときに困る範囲は小さくできます。 本番で起きたときの動き方は運用のタブへ。
大きな事故は、1 つのミスだけでは起きません。いくつもの穴が重なったときに起きます。
守り(レビュー・テスト・権限・監視)は、どれも完全ではなく穴(弱点)があります。穴がたまたま全部そろったときに、事故が起きます。だから守りは何重にも重ね、1 枚の穴を責めるより、穴がそろわない仕組みを考えます。
1 件の重大な事故の裏には、29 件の軽い事故と、300 件のヒヤリハット(事故にならなかった危ない出来事)がある、という労働災害の経験則です(比率は業種・国・時代で変わるので、数字そのものより、考え方として使います)。小さな「ヒヤリ」を隠さず共有すると、大きな事故を防げます。
AI を使うと仕事は速くなりますが、これまでと違う形のリスクも増えます。考え方の土台(起こりやすさ × 影響、元に戻せるか)は同じです。AI への攻撃と守り方はセキュリティの「AI 時代の攻撃」にあります。
下へ行くほど、元に戻しにくく、影響が大きい。上の「元に戻せるか」と「リスクマップ」の考え方を、そのまま AI に当てはめます。
作る前に「何が狙われるか」を考えておくのが脅威モデリングです。基本は 4 つの質問。攻撃の中身はセキュリティのページにあります。
CVSS は、脆弱性の深刻さを 0.0〜10.0 の点数で表す世界共通の目安です(0.0 は「なし」)。ただし点数は弱点そのものの重さ。実際にどれから急ぐかは、自分のサービスで使っているか、外から届くか、実際に悪用されているか(米国 CISA の「悪用が確認された脆弱性の一覧(KEV)」など)で決めます。
どれも、ちゃんとした会社や専門家のもとで起きています。人ではなく、仕組みの穴を見ます。AI がからむものには「AI」の印を付けました。
本番のデータやサーバーを触る前に、確かめたものにチェックを付けてください(この端末にだけ保存されます)。
リスクは、伝わらなければ無いのと同じです。 振り返りのひな形は運用のタブへ。