プロジェクト概要
なぜなぜ5回分析は、経験の浅い担当者には難しく、逆に経験豊富な担当者は仮説に引っ張られることで原因の広がりが不足しがちです。SCIENは、分析の方法論自体を構造化し、事実ベースで原因候補を木構造的に広げるAIの設計を行いました。
方法論を知識基盤として構造化
書籍化された手法論や社内の過去分析結果をDB化し、AIが参照できる知識基盤を整える方針を提案しました。単なるチャットではなく、品質改善の作法を踏まえた支援を目指した点が特徴です。
関与範囲と評価設計
PoCでは、プロンプト設計、Few-shot用データ作成、LLM-as-a-Judgeを含む評価設計、現場担当者によるレビューの流れまでを整理しました。導入後に改善できるよう、編集履歴を蓄積するフィードバックループも設計しています。
- なぜなぜ5回の手法論の構造化
- 過去事例DB/評価用データの設計
- 質問品質を測るEvals設計
- 現場レビューを踏まえた改善ループの提案
AIを”結論を出す装置”にしない設計
本構想では、AIが解決策を断定するのではなく、事実に基づく問いや原因候補の広がりを支援する役割に位置づけています。これにより、現場の納得感を保ちながら分析の質を底上げすることを目指しました。
Evalsと現場レビューによる改善ループ
LLMの出力を導入時点で完成品とみなさず、質問品質や原因候補の妥当性を評価できるEvals設計を組み込みました。現場担当者が編集した履歴を蓄積し、Few-shotや再生成に反映することで、運用の中で精度が高まる構成を目指しています。
本プロジェクトにおける価値
属人的だった原因分析を、再利用可能な知と評価可能なAIへ変換する道筋を描いたことが本プロジェクトの価値です。品質改善を”人の勘”だけに依存しない形へ進める、SCIENCE-readyな業務設計の実例となりました。