情報セキュリティ監査・法務・先端技術監査重要度:★★★出題: AM2・PM1・PM2

AI・機械学習システムの開発・運用監査

えーあいきかいがくしゅうしすてむのかいはつうんようかんさ / AI and Machine Learning System Governance and Audit

機械学習や生成AIを組み込んだシステムについて、学習データの品質・権利処理、モデルの判断バイアス・公平性、説明可能性、ハルシネーション対策、および本番稼働後の精度劣化（ドリフト）監視を検証する監査です。

3行速習ポイント

機械学習や生成AIを組み込んだシステムについて、学習データの品質・権利処理、モデルの判断バイアス・公平性、説明可能性、ハルシネーション対策、および本番稼働後の精度劣化（ドリフト）監視を検証する監査です。
従来の「仕様書どおりに100%決定論的に動くシステム」とは異なり、AIは「確率的に誤り得る」「時間とともに環境変化で精度が落ちる」という特性を踏まえた監査が必要です。
試験対策：午後I（令和3年問1）・午後II（令和7年問1「生成AIの業務利用とシステム監査」、令和2年問1「AI技術を利用したシステムの監査」）で直撃している最重点テーマです！

図解

図AI・生成AIシステムにおけるライフサイクル監査の4つの着眼点プロセス・手順フロー

データガバナンス・PoC精度評価から人間による確認・稼働後ドリフト監視まで

▶ 進行順序：1. データ保護統制➔2. 精度・公平性検証➔3. 人間による検閲➔4. 継続的精度監視

11. 学習データ・プロンプト入力データのガバナンス

データ保護統制

機密情報・個人情報の外部学習防止とデータの偏り（バイアス）排除

外部生成AIサービスとの契約（入力データの学習不利用設定）やDLP制御を確認し、個人情報や未公開の社外秘データが外部へ流出しない統制を確かめる。

22. モデル評価基準とテスト・説明可能性の検証

精度・公平性検証

偏りのないテストデータによる精度検証と推論根拠の記録

学習用データとは分離された検証用データで目標精度や公平性が評価されているか、また重要判断において推論の根拠・参照元が提示される設計かを確認する。

33. 人間による最終判断（Human-in-the-Loop）と利用者教育

人間による検閲

ハルシネーション（もっともらしい嘘）を鵜呑みにしない業務手続

顧客向け回答や重要決裁にAI出力を用いる場合、必ず人間が事実確認・承認を行う業務フローと、AIの限界を理解させる利用者教育が行われているか確認する。

44. 本番稼働後の精度劣化（モデルドリフト）監視と再学習統制

継続的精度監視

現実環境の変化に伴う精度低下の検知と再学習後の再評価

稼働後の正答率や利用者フィードバックを定期モニタリングする仕組みがあり、再学習やモデル更新時に変更管理と同等の再評価が行われているか確かめる。

💡 午後II令和7年問1では「業務における生成AIの利活用に伴うリスク（機密漏えい・ハルシネーション・著作権侵害）への統制」と「監査業務自体での生成AI活用」の両面が問われました。

概要と本質

機械学習や生成AIを組み込んだシステムについて、学習データの品質・権利処理、モデルの判断バイアス・公平性、説明可能性、ハルシネーション対策、および本番稼働後の精度劣化（ドリフト）監視を検証する監査です。従来の「仕様書どおりに100%決定論的に動くシステム」とは異なり、AIは「確率的に誤り得る」「時間とともに環境変化で精度が落ちる」という特性を踏まえた監査が必要です。

重要ポイント・コア概念

学習・入力データの統制：学習データへの個人情報・機密情報・著作権侵害データの混入防止、生成AIプロンプト入力時の社外秘データ送信制限（オプトアウト設定・ガイドライン）の確認
出力評価と継続的監視：AI出力の誤り（ハルシネーション・バイアス）を人間が検証するプロセス（Human-in-the-Loop）、および稼働後の回答精度モニタリングと再学習手続の確認
定量的効果・監査目標例：生成AI利用ガイドラインの遵守状況監査とAPI入力ログの機密情報フィルタリング検証を実施し、社外秘情報の外部学習流出ゼロと業務回答の人間レビュー100%を達成