企画・開発・移行プロジェクト監査 重要度:★★★出題: AM2・PM1・PM2
新技術導入・PoC(概念実証)の企画段階監査
しんぎじゅつどうにゅうぴーおーしーのきかくだんかいかんさ / Emerging Technology and Proof of Concept (PoC) Audit
AI、IoT、データ分析などの新技術を用いたシステム企画において、PoC(概念実証)が単なる実験で終わる「PoC死」や精度不足のままの本番強行を防ぎ、投資判断が適切に行われているかを検証する監査です。
3行速習ポイント
- AI、IoT、データ分析などの新技術を用いたシステム企画において、PoC(概念実証)が単なる実験で終わる「PoC死」や精度不足のままの本番強行を防ぎ、投資判断が適切に行われているかを検証する監査です。
- 活動テーマに即した仮説の設定、PoCの評価基準・終了基準の事前定義、および結果評価に基づく本番移行判断が要となります。
- 試験対策:午後I(令和3年問1、令和2年問1)・午後II(令和7年問1、令和2年問1、平成31年問1)で繰り返し出題されている最頻出テーマの一つです。
図解
図新技術(AI・IoT・DX)導入におけるPoC企画〜本番移行判定の監査フロープロセス・手順フロー
仮説設定・評価基準定義から再学習評価・利用者教育までの統制ゲート▶ 進行順序:1. 仮説・経営承認➔2. 事前基準定義➔3. 結果評価・判定➔4. 特有リスク・教育
11. 経営承認と活動テーマに即した仮説設定
仮説・経営承認新技術導入それ自体の目的化(手段の目的化)の防止
経営会議議事録やPoC計画書を閲覧し、ビジネス課題解決に向けた仮説が設定され、経営層によって十分に審議・承認されているかを確かめる。
22. PoC計画書における評価基準・終了基準の定義
事前基準定義検証開始前に「どうなれば成功/撤退か」の物差しを確定
PoC計画書を閲覧し、検証の目的、結果の定量的な評価基準(回答精度・処理速度等)、および終了基準(撤退・再検証条件)の記述があることを確かめる。
33. 追加学習・試行後の結果再評価(PoC評価書)
結果評価・判定データ追加後の未評価本番移行を防ぐゲート審査
PoC評価書を閲覧し、教師データ追加・再学習を行った後に必ず結果の評価と終了判断を実施し、基準達成を確認してから本番移行しているかを確かめる。
44. 特有リスクへの対応策と利用者リテラシー教育
特有リスク・教育AIの誤回答リスク等を踏まえた人間による判断教育の計画
AIが常に正しいとは限らない特性を理解し、出力結果の正しさや利用可否を人間が判断するための教育が利用部門向けに計画されているかを確かめる(令和3年問1)。
💡 午後I令和3年問1(チャットボット企画監査)と令和2年問1(DX推進監査)では「PoC計画書・PoC報告書の閲覧による仮説・評価基準・終了基準の確認」が直接問われました。
概要と本質
AI、IoT、データ分析などの新技術を用いたシステム企画において、PoC(概念実証)が単なる実験で終わる「PoC死」や精度不足のままの本番強行を防ぎ、投資判断が適切に行われているかを検証する監査です。活動テーマに即した仮説の設定、PoCの評価基準・終了基準の事前定義、および結果評価に基づく本番移行判断が要となります。
重要ポイント・コア概念
- PoC計画の妥当性:PoC計画書を閲覧し、導入目的に即した検証仮説、結果の評価基準(目標精度等)、および打ち切りを含む終了基準が事前に明記されているかの確認
- PoC評価と本番移行ゲート:PoC評価書を閲覧し、追加学習やデータ加工の後も必ず結果の再評価を行ってから本番移行を判断しているか、および特有のリスクが許容範囲内まで低減できるかの確認
- 定量的効果・監査目標例:AI導入案件のPoC計画書に「目標正答率85%以上・費用対効果基準・終了基準」の事前定義を必須化し、基準未達のままの本番開発強行を0件に抑制
午後I記述・午後II小論文試験での攻略ポイント
午後I(令和3年問1、令和2年問1)・午後II(令和7年問1、令和2年問1、平成31年問1)で繰り返し出題されている最頻出テーマの一つです。
小論文で使える実践フレーズ・キーワード(クリックでコピー)
関連する重要用語
この用語が出題された過去問を解く(1分演習)
即時アウトプットで定着システム監査技術者 過去問演習で実践力を鍛える
