論文の概要: Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking

• arxiv url: http://arxiv.org/abs/2607.12085v1
• Date: Mon, 13 Jul 2026 19:01:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:29.937686
• Title: Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking
• Title（参考訳）: 対話エージェントの多次元評価操作:選択的再評価とモデルベンチマークによるスケーラブルでゴーサイン付きパイプライン
• Abstract要約: 本稿では,小売会話システムの大規模評価を行うための管理型構成駆動パイプラインであるGenAI Evaluationを提案する。 このフレームワークは、有用性、真理性、明瞭性、音調アライメント、翻訳特化次元を評価する。 パイプラインのマクロF1スコアは0.93で、翻訳の精度は89%だった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating retail conversational agents requires methods beyond lexical-overlap metrics to assess intent alignment, factuality, helpfulness, clarity, tone, and overall response quality. Although LLM-as-a-judge methods provide scalable alternatives to human evaluation, production deployment introduces challenges in governance, reproducibility, cost, schema consistency, traceability, and reliability. We present GenAI Evaluation, a governed, configuration-driven pipeline for large-scale evaluation of retail conversational systems. It processes production chatbot logs through normalization, sharding, asynchronous execution, and schema-constrained LLM scoring. The framework evaluates helpfulness, truthfulness, clarity, tone alignment, and translation-specific dimensions. Selective re-evaluation processes only incomplete, malformed, or schema-invalid records, while schema locking, versioned configurations, validation logs, and record-level provenance support auditability. The framework processes approximately 50,000 records daily and has evaluated more than two million interactions. Validation used 12,980 stratified-random human-labeled records from four trained annotators. Classification covered 14 intents, 156 sub-intents, 18 major domains, and 129 sub-domains. The pipeline achieved a macro F1 score of 0.93 and 89% human-acceptability accuracy for translation.
• Abstract（参考訳）: 小売の会話エージェントを評価するには、意図のアライメント、事実性、有用性、明瞭さ、トーン、全体的な応答品質を評価するために、語彙オーバーラップのメトリクスを超える方法が必要である。 LLM-as-a-judgeメソッドは、人間の評価に代わるスケーラブルな代替手段を提供するが、プロダクションデプロイメントは、ガバナンス、再現性、コスト、スキーマの一貫性、トレーサビリティ、信頼性の課題を導入している。 本稿では,小売会話システムの大規模評価を行うための管理型構成駆動パイプラインであるGenAI Evaluationを提案する。 正規化、シャーディング、非同期実行、スキーマ制約付きLLMスコアリングを通じてプロダクションチャットボットログを処理する。 このフレームワークは、有用性、真理性、明瞭性、音調アライメント、翻訳特化次元を評価する。 選択的な再評価プロセスは、スキーマロック、バージョン設定、バリデーションログ、レコードレベルの前処理サポート監査性に対して、不完全、不正、あるいはスキーマ非有意なレコードのみである。 このフレームワークは毎日約5万のレコードを処理し、200万以上のインタラクションを評価している。 検証では、訓練された4人のアノテーターから12,980個の階層化されたランダムな人間のラベル付きレコードを使用した。 14のインテント、156のサブインテント、18のメジャードメイン、19のサブドメインに分類された。 パイプラインのマクロF1スコアは0.93で、翻訳の精度は89%だった。

関連論文リスト

• ClawTrack: Towards Trace-Level Evaluation and Improvement of Real-World Autonomous Agents [23.840537431318296]
  エージェントが何を達成し、どのように達成するかを同時に測定するデュアルアセスメントベンチマークであるClawTrackを提示する。 ClawTrackは8つのドメインにわたる320のタスクと25以上の決定論的モックサービスで構成されている。 プロセスグレーダは、12,541のタスク固有の項目で固定された4次元(ゴールアライメント、効率性、情報利用、結果検証)に沿って各推論ターンをスコアする。
  論文  参考訳（メタデータ） (2026-07-30T11:18:47Z)
• Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation [3.079997053226693]
  本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。 496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。 ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
  論文  参考訳（メタデータ） (2026-06-30T21:10:42Z)
• Accuracy, Stability, and Repeated-Run Reliability of Large Language Models on Deterministic Programming Tasks [0.8699677835130409]
  ランレベルのパスレートは、リトライフリーのカバレッジを最大17.8ポイント上回っている。 本稿では,実行レベルの精度,再試行自由度,確率ごとの変動率を指標とした繰り返し実行評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-05-30T23:03:05Z)
• One-Eval: An Agentic System for Automated and Traceable LLM Evaluation [10.701916838477187]
  One-Evalは、自然言語要求を実行可能な評価に変換するエージェント評価システムである。 One-Evalは、産業環境でより効率的で再現可能な評価をサポートする。
  論文  参考訳（メタデータ） (2026-03-10T15:45:51Z)
• DIALEVAL: Automated Type-Theoretic Evaluation of LLM Instruction Following [1.5555393702795077]
  本稿では,2つのLLMエージェントを用いた型理論フレームワークであるDIALEVALを紹介し,型付き述語への命令分解を自動化する。 このフレームワークは、自動抽出中に正式な原子性と独立性の制約を強制する。 評価基準は、コンテンツ述語に対する意味的等価性、数値述語に対する正確な精度、経験的に観察された人間の評価パターンを反映する。
  論文  参考訳（メタデータ） (2026-02-10T05:21:43Z)
• Solver-in-the-Loop: MDP-Based Benchmarks for Self-Correction and Behavioral Rationality in Operations Research [19.31559944205485]
  運用 調査実践者は反復的なプロセスを通じて、不可能なモデルを日常的にデバッグする。 評価ループにtextbfsolver を配置するベンチマークを2つ導入する。 ドメイン固有のRLVRトレーニングによって、8BモデルがフロンティアAPIを越えられることが分かりました。
  論文  参考訳（メタデータ） (2026-01-28T20:02:44Z)
• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
  私たちはSingle-Passを紹介します。 Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。 数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。 ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• Monocle: Hybrid Local-Global In-Context Evaluation for Long-Text Generation with Uncertainty-Based Active Learning [63.531262595858]
  分数的・対数的アプローチは、総合的な評価タスクを局所的なスコアリングタスクに分割し、続いて最終的なグローバルアセスメントを行う。 局所的およびグローバルな評価の両面での性能を高めるために,人間のアノテーションを活用するハイブリッド・イン・コンテキスト・ラーニング・アプローチを導入する。 最後に,人間のアノテーションに対するデータサンプルを効率的に選択する不確実性に基づく能動学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T16:39:41Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
  機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。 我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。 本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
  論文  参考訳（メタデータ） (2023-03-24T05:05:03Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。