システム監査技術者午後I 事例記述令和3年 秋期
午後I 問1
問1 チャットボット開発の企画段階における監査
テーマ：チャットボット開発の企画段階における監査
左右2分割表示：左側の問題文をスクロールしながら右側の設問に解答できます
長文事例本文
図表クリックで拡大問1 チャットボット開発の企画段階における監査に関する次の記述を読んで,設問1〜4に答えよ。
A社は,家庭用品を製造・販売している企業であり,顧客からの問合せに対応するためのコールセンタを自社で運用している。コールセンタでは,問合せ集中時の対応の遅れや品質のばらつきが課題となっている。他社のコールセンタで,チャットボットを導入して効果が出ている事例があることから,A社はコールセンタへのチャットボットの導入を検討している。
A社は,チャットボットの開発・利用経験がないので,ITベンダの協力を得て開発する計画である。監査部は,コールセンタでのAIの利用は業務運営,顧客サービスなどに大きな影響を与える可能性があると考え,システム監査を実施することにした。しかし,チャットボット開発の監査経験がないので,社外のシステム監査人M氏に監査チームへ参画してもらい,助言を受けながら監査を実施することにした。
〔コールセンタの概要〕
コールセンタは,電話や電子メールを用いて,顧客からの問合せ対応やアフターフォローを行っている。コールセンタの運営は,着呼の自動振分け,顧客に関する情報照会,対応記録の一元管理,稼働状況に応じたオペレータへの着呼の割当て,通話録音などの機能をもつコールセンタシステムで支援されている。
〔チャットボット開発の概要〕
監査チームは,予備調査として,コールセンタとシステム部にヒアリングを行い,関係資料を閲覧した結果,次の情報を得た。
(1) チャットボットの機能
コールセンタとシステム部が協議して,オペレータを支援する機能の強化としてチャットボットを導入することとした。チャットボットは,AIを利用した音声認識と自然言語処理によって,対応中の顧客の発言の趣旨を解析し,オペレータに回答候補を提示する。
(2) 構想立案と概念実証
コールセンタとシステム部が協議した内容を構想立案書としてまとめ,次に,概念実証(以下,PoCという)の実施に当たりPoC計画書を作成した。
コールセンタは,コールセンタへ問合せのあった顧客の音声(以下,学習データという)とオペレータの回答音声(以下,教師データという)の1か月分を準備した。システム部は,学習データと教師データの全件をAIに学習させ,PoCの実施結果をPoC評価書としてまとめた。
(3) 要件定義以降の開発計画
システム部は,PoC評価書を踏まえて,ひとまず開発概要書を作成し,要件定義に向けた準備を進めている。一方,PoCの実施結果に一部想定外の状況が発生しているので,PoCを継続して実施する予定である。チャットボット開発の流れは図1のとおりであり,現在はPoC工程の途中の段階である。
拡大
なお,開発概要書には,次のとおり記述されている。
1 システム部が開発し,コールセンタはテスト工程で操作性などを確かめる。
2 テスト工程では,学習データと教師データを3か月分に増やして学習させ,結果を評価し,想定した結果が得られた場合には本番移行が承認される。
3 本番移行工程では時間が限られ,直前のテスト工程では結果が評価されることから,学習データと教師データの量を6か月分に増やして学習だけを行い,本番運用を開始する。
(4) オペレータ教育
開発概要書には,オペレータ教育について,“現行のマニュアルの中で操作方法が変更になる箇所だけを更新し,業務の繁閑を考慮しながらオペレータを教育する”と記述されている。
〔監査チームが想定したリスク〕
監査チームは,チャットボット開発のリスクを次のとおりまとめた。
(1) 構想立案工程のリスク
AIの利用は経営や業務へのリスクがある。導入目的や利用範囲について,経営会議などの審議を経て経営層が承認するプロセスが必要である。
(2) PoC工程のリスク
PoCの計画策定時に評価基準が不明確な場合には,実施結果の良否判断ができず,PoCの終了を判断できないリスクがある。また,評価結果が不明確な場合には開発計画が不確実になり,期待どおりのチャットボットを開発することができないリスクがある。そのため,PoCの計画策定では,実施の目的,結果の評価基準及び終了基準を定める必要がある。PoC工程実施後は,計画で定めた評価基準及び終了基準を満たしているかを明確に評価する必要がある。
(3) 学習と評価のリスク
チャットボットの学習では要求される品質を満たす学習データと教師データを選定,準備し,必要な各工程で学習させないと,チャットボットが適切でない回答をするリスクがある。学習後は,結果が正しいかどうかを評価する必要がある。
(4) オペレータ教育のリスク
オペレータ教育が不十分な場合にはAIが示した誤った結果をそのまま顧客に回答するリスクがある。AIが示す結果は常に正しいとは限らないので,結果の利用可否を人が判断する必要がある。チャットボットについても同様で,操作方法の変更だけでなく,結果の正しさや利用可否をオペレータ本人が判断すべきであることを教育する必要がある。その際,オペレータ教育の内容や実施計画の妥当性を事前に考慮することが重要である。
〔M氏の助言〕
監査チームは,想定したリスクを踏まえて作成した監査手続書について,M氏に助言を求めた。M氏の助言は次のとおりである。
(1) 監査手続としてAIに関する開発原則を確かめるだけでは不十分であり,追加の手続が必要である。
(2) 開発概要書を作成しており,PoCを継続実施する計画になっている。今後のPoCの評価が不明確な場合は開発が遅延するリスクがある。PoCの計画と実施についての監査手続が必要である。
(3) 開発概要書を見る限り,本番移行工程には問題がある。本番運用において期待効果が得られない可能性があるので,詳しく調査する必要がある。
(4) オペレータ教育について,教育内容や実施計画が不十分なので,詳しく調査する必要がある。
〔修正した監査手続書〕
監査チームはM氏の助言を踏まえて,表1のとおり監査手続書を修正した。
拡大
拡大図1 チャットボット開発の流れ
拡大表1 修正した監査手続書(抜粋)
設問一覧 ＆ 解答・演習
まずは解答を作成してみましょう。「解答例を見る」をクリックするとIPA公式解答例と採点基準が開きます。
設問1記述問題
制限字数：50 字以内
〔M氏の助言〕(1)を踏まえて,表1中の ア に入れる監査手続を50字以内で述べよ。
0 / 50 文字
設問2 イ記述問題
制限字数：45 字以内
〔M氏の助言〕(2)を踏まえて,表1中の イ に入れる監査手続を45字以内で述べよ。
0 / 45 文字
設問2 ウ記述問題
制限字数：45 字以内
〔M氏の助言〕(2)を踏まえて,表1中の ウ に入れる監査手続を45字以内で述べよ。
0 / 45 文字
設問3記述問題
制限字数：30 字以内
〔M氏の助言〕(3)について,M氏が指摘した問題を30字以内で述べよ。
0 / 30 文字
設問4記述問題
制限字数：40 字以内
〔M氏の助言〕(4)について,M氏が,オペレータ教育の内容が不十分と考えた理由を40字以内で述べよ。
0 / 40 文字
午後I長文記述の得点力を引き上げる定番対策書Amazon・楽天 公式提携
PR
川辺 良和 著 / アイテック
システム監査技術者「専門知識＋午後問題」の重点対策
💡 推薦ポイント:午後I記述式で頻出する「何を（監査証拠）」「どのように確かめるか（監査手続）」を制限字数内で正確にまとめる実践力が身につきます。
¥3,740（税込）
※本リンク先はプロモーション（アフィリエイト広告）が含まれています
【出題趣旨】IPA公式発表
【採点講評】IPA公式発表
本問に関連するシステム監査技術者重要用語解説
本番形式・制限時間付きで演習する
令和3年 秋期 午後I（2問選択・90分）を実戦演習モードで通し解答し、総合採点を受けられます。