SCIEN お問い合わせ

LLMによる部署分類・要因付与の精度改善

教育事業者のお客様

  • 事業

    オーダーメイドAI・システム受託開発

  • 分野

    生成AI、教育AI、教育

  • 技術

    自然言語処理、プロンプト設計

概要

課題
テキストを担当部署へ振り分ける分類や、内容に応じた要因の付与をLLMで行うにあたり、実務で使える精度に届いていませんでした。
取り組み
分類・付与の結果を定量的に検証しながらプロンプトの改善を重ね、精度の向上に取り組みました。
成果
  • 部署分類の正解率(第1候補が正解だった割合):53% → 96.8%
  • 要因付与のF1スコア:数学 0.76 → 0.83、英語 0.64 → 0.81

プロジェクト概要

LLMを用いたテキストの部署分類と要因付与について、結果を定量的に検証しながら改善を重ね、実務で使える水準まで精度を引き上げました。

本プロジェクトにおける価値

精度を定量的に検証しながら改善を重ねることで、LLMによる分類・付与を実務で使える水準まで引き上げた点が本プロジェクトの価値です。

記事を共有

関連実績

すべての実績
Custom AI & Software Development New Business Development with AI Advanced Technology R&D AI/DX Consulting & Advisory
Custom AI & Software Development New Business Development with AI Advanced Technology R&D AI/DX Consulting & Advisory
Custom AI & Software Development New Business Development with AI Advanced Technology R&D AI/DX Consulting & Advisory
Custom AI & Software Development New Business Development with AI Advanced Technology R&D AI/DX Consulting & Advisory
Custom AI & Software Development New Business Development with AI Advanced Technology R&D AI/DX Consulting & Advisory
Custom AI & Software Development New Business Development with AI Advanced Technology R&D AI/DX Consulting & Advisory