Stack Map新人 Web エンジニアの地図

リスクは「まだ起きていないけれど、起きると困ること」。ゼロにはできないから、大きいものから手を打つ。
考え方の道具、AI 時代のリスク、実際の事故から学べることをまとめました。

リスクとは

リスクの大きさは、だいたい「起こりやすさ」と「起きたときの影響」のかけ算で考えます。

起こりやすさどのくらい起きそうか
×
起きたときの影響誰が、どのくらい困るか
=
リスクの大きさ先に手を打つ順番

リスクマップで並べてみる

開発でよくあるリスクを 12 個(紫の点は AI まわり)、起こりやすさ(横)と影響(縦)で並べました。右上ほど危ない。「対策の後」を押すと、対策でどこへ動くかが見えます。番号を押すと中身が出ます。

↑ 縦: 影響横: 起こりやすさ →

    リスクへの 4 つの対応

    見つけたリスクには、この 4 つのどれか(組み合わせ)で向き合います。

    「元に戻せるか」で慎重さを変える

    Amazon の創業者ジェフ・ベゾスは株主への手紙で、元に戻せる決定を「引き返せるドア(two-way door)」と呼び、軽い手順で早く決めてよいと書いています。逆に、戻せない変更は時間をかけて慎重に。全部に同じ慎重さで向き合うと、遅いうえに大事な所で疲れてしまいます。

    影響範囲を小さくする工夫

    失敗をなくすのは無理でも、失敗したときに困る範囲は小さくできます。 本番で起きたときの動き方は運用のタブへ。

    事故は重なって起きる

    大きな事故は、1 つのミスだけでは起きません。いくつもの穴が重なったときに起きます。

    スイスチーズモデル

    穴のあいたチーズを 4 枚重ね、穴がそろった所を矢印が通り抜けて事故になる図

    守り(レビュー・テスト・権限・監視)は、どれも完全ではなく穴(弱点)があります。穴がたまたま全部そろったときに、事故が起きます。だから守りは何重にも重ね、1 枚の穴を責めるより、穴がそろわない仕組みを考えます。

    ハインリッヒの法則(1:29:300)

    1 件の重大な事故の裏には、29 件の軽い事故と、300 件のヒヤリハット(事故にならなかった危ない出来事)がある、という労働災害の経験則です(比率は業種・国・時代で変わるので、数字そのものより、考え方として使います)。小さな「ヒヤリ」を隠さず共有すると、大きな事故を防げます。

    AI 時代のリスクの考え方

    AI を使うと仕事は速くなりますが、これまでと違う形のリスクも増えます。考え方の土台(起こりやすさ × 影響、元に戻せるか)は同じです。AI への攻撃と守り方はセキュリティの「AI 時代の攻撃」にあります。

    AI で何が変わるか

    AI に任せる範囲を、リスクで決める

    下へ行くほど、元に戻しにくく、影響が大きい。上の「元に戻せるか」と「リスクマップ」の考え方を、そのまま AI に当てはめます。

    AI エージェントを安全に使う 6 つの決まり

      世の中の枠組みも「リスクの大きさで分ける」

      セキュリティのリスクを洗い出す(脅威モデリング)

      作る前に「何が狙われるか」を考えておくのが脅威モデリングです。基本は 4 つの質問。攻撃の中身はセキュリティのページにあります。

        STRIDE(悪いことを 6 つの種類で洗い出す)

        弱点の深刻さの目安(CVSS)

        CVSS は、脆弱性の深刻さを 0.0〜10.0 の点数で表す世界共通の目安です(0.0 は「なし」)。ただし点数は弱点そのものの重さ。実際にどれから急ぐかは、自分のサービスで使っているか、外から届くか、実際に悪用されているか(米国 CISA の「悪用が確認された脆弱性の一覧(KEV)」など)で決めます。

        実際に起きた事故から学ぶ

        どれも、ちゃんとした会社や専門家のもとで起きています。人ではなく、仕組みの穴を見ます。AI がからむものには「AI」の印を付けました。

        本番作業の前のチェックリスト

        本番のデータやサーバーを触る前に、確かめたものにチェックを付けてください(この端末にだけ保存されます)。

          リスクの伝え方と振り返り

          リスクは、伝わらなければ無いのと同じです。 振り返りのひな形は運用のタブへ。