生成AI受託開発CASE 01本番稼働中・継続改善中
AIによる自動回答・添削 — 回答待ち時間を62%短縮し、添削件数を3倍に
オンライン教育サービス / 受講者サポート部門 / 要件整理〜本番運用
- 支援期間
- 約4ヶ月
- 体制
- PM/AIエンジニア/開発
- 支援フェーズ
- 要件整理〜本番運用

導入前の課題
受講者数の増加に対して講師の人数が追いつかず、回答・添削の業務がひっ迫していました。回答待ち時間は長期化し、受講体験の悪化が解約にもつながりかねない状況。添削の品質にも担当者ごとのばらつきが出ており、クレームの火種になっていました。その根本には、回答基準やノウハウが講師個人の頭の中に属人化し、組織で共有・引き継ぎできる形になっていないという構造的な課題がありました。
Arcamが実施したこと
過去の回答・添削データから評価基準と正解例を構造化し、LLMによる自動回答・添削を実装しました。AIが一次回答し講師が最終確認する運用とし、確信度スコアが閾値を下回る回答は講師へ自動で引き継ぐ構成に。プロンプトと評価データはバージョン管理し、モデルや設定の変更ごとに回帰評価を実行できるパイプラインを構築しています。
- AIが一次回答し、講師が最終確認する運用を設計
- 確信度スコアが低い回答は講師へ自動で引き継ぐ構成に
- プロンプトと評価データを変更ごとに回帰評価できる形で管理
Arcamならではの工夫
添削観点ごとに構造化した評価基準をプロンプトに組み込み、出力を構造化データで受けて画面に反映。回答には根拠箇所の引用を必須とし、ハルシネーションを運用で検知できる形にしました。
成果
回答までの待ち時間は62%短縮され、1日あたりの添削件数は3倍になりました。人手を介さない一次回答の正答率は評価基準を上回る水準を維持しており、講師は判断が必要な添削と個別フォローに集中できています。整理した評価基準と正解例は社内資産として残り、担当者が交代しても同じ品質で運用が継続。モデル更新時も評価データで精度を確認してから切り替えられる体制です。