令和6年度 秋期 応用情報技術者試験 午後問題 問11 AIチャットボット導入計画の監査

問11 チャットボット導入における開発計画の監査に関する次の記述を読んで、設問に答えよ。

W社は，中堅の家電メーカーである。顧客サービス部では，製品の特徴や使用方法に関する顧客からの問合せなどに回答するコールセンターを運用しており，Web上で顧客からの問合せに対し，定型文で自動的に回答するチャットボット（以下，現行CBという）で作業効率を向上させてきた。
問合せ内容をより的確に解釈するなど，回答の品質向上のために，顧客サービス部長がシステムオーナーとなり，現行CBのベンダーが提供する，ディープラーニングを利用していない機械学習方式のチャットボット（以下，新CBという）を導入するプロジェクトを立ち上げることになった。
企画プロセスの完了を受けて，W社監査部のシステム監査チームは，新CBの開発計画の適切性について監査を実施することになった。そのために実施した予備調査の結果，次のことを把握した。

〔予備調査の結果〕

(1) 現行CBの概要と課題
① W社では，季節性のある製品を多く取りそろえているので，顧客から寄せられる問合せ数は，季節性のある製品では季節によって偏りがある。
② 現行CBでは，顧客が入力した曖昧な言葉に対応できず，FAQに回答が存在するにもかかわらず，問合せを解釈できずに回答が表示されないことや，誤った回答を表示することがある。顧客が現行CBの回答では不十分と感じた場合には，顧客からの要望で，コールセンターのオペレーターが代わって問合せ対応を実施している。
③ 導入効果をモニタリングするために，顧客の入力テキスト，現行CBが表示した回答，現行CBの回答に対して“役立った”かどうかの結果などを，CB回答履歴として保存している。これらの情報を分析し，顧客から“役立った”という評価を得た割合（以下，回答満足率という）を効果測定の指標の一つにしている。
④ 新製品については，発売に合わせて新規にFAQを知識ベースに登録している。今回のプロジェクト期間中にも，発売が予定されている新製品が複数ある。
⑤ 現行 CB を導入した際には，受入テストを顧客サービス部員が参加せずに開発担当者だけが実施したことから，新製品に関する問合せに対して適切に回答できないなど，本番移行後に混乱を招く問題点があった。

(2) プロジェクトの概要

これまで，企画プロセスにおいて新 CB 導入の目的の明確化，システム化計画の立案，及び PoC（Proof of Concept：概念実証）を実施しており，PoC の結果は品質向上の効果を見込めるものであった。現在，開発計画書案を顧客サービス部とシステム部が共同で作成したところである。関係する役員，及び財務部，顧客サービス部，システム部の各部長で構成するプロジェクト運営委員会で開発計画書案を承認する予定である。

今後の開発プロセスにおいて要件定義，追加の機械学習を含む設計，実装，テスト，受入テスト，及び本番移行を予定している。新 CB の機能構成を図 1 に示す。

(3) 新 CB の機能概要と機械学習

① 回答機能には，現行 CB よりも改良した知識ベースを備えており，新 CB においても新製品の発売に合わせて FAQ を知識ベースに登録する。新 CB では，類似する言葉を整理して，言葉の関連度合いを格納している用語データベース（以下，類義語 DB という）が備わっている。回答機能では，顧客の入力テキストを自然言語処理し，類義語 DB と突き合わせることで，顧客の曖昧な言葉遣いに対してある程度問合せ対応可能であり，回答満足率の向上が期待できる。
② 新 CB の類義語 DB は，ベンダーからの納入時には一般的な語句だけに対応している。W 社製品に関する語句などを類義語 DB に反映するには，二つの方法がある。一つ目は，手作業入力データを基に学習機能に備わる手作業入力機能によって，類義語 DB を整備する方法である。二つ目は，現行 CB の CB 回答履歴から抽出した文章を自然言語処理によって品詞別に分解し，AIモデルによって機械学習することで類義語DBを整備する方法である。
PoCでは，機械学習によって類義語DBを整備する際のサーバ処理に想定以上の時間を要していた。
③ PoCにおける機械学習による類義語DBの整備では，現行CBのCB回答履歴から6か月分を学習用データ及びテスト用データとして，ランダムに抽出した。また，回答満足率を指標にして，効果の目標レベルを定め，新CBの有効性を判断している。
④ 新CBでは，設計において，追加の機械学習によって類義語DBの精度を高め，回答満足率を上げる想定である。設計後においても，本番運用向けの類義語DBの学習では，再学習を実施する。

〔監査手続案の作成〕

予備調査の結果を踏まえて，システム監査チームが作成した監査手続案（抜粋）を表1に示す。

〔監査部長の指示〕

監査部長は，監査手続案をレビューして，次のとおりシステム監査チームに指示した。

(1) 表1項番1について，設計における追加の機械学習では，類義語DBの整備がスケジュールどおり完了しないおそれがある。機械学習を実行するサーバに対する非機能要件の一つであるeが，PoCを実施した際の実績データから導いた要件になっているか確かめること。

(2) 表1項番2について，新製品だけでなく，現行のfに関する問合せへの回答について，学習用データが不十分で，適切に回答できないおそれがある。設計における追加の機械学習では，製品を網羅する観点から学習用データを準備する計画になっているか確かめること。

(3) 表1項番3について，新CBの有効性を確保するために，gに先立って，プロジェクト運営委員会が，当初予定の導入効果が得られる見込みを評価する計画になっているか確かめること。

(4) 追加する監査手続として，現行CB導入時における問題点を踏まえて，今後の開発プロセスにおいて顧客サービス部によるhが適切に実施される計画になっているか確かめること。