論文の概要: Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight
- arxiv url: http://arxiv.org/abs/2608.24314v1
- Date: Tue, 25 Aug 2026 09:44:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.924912
- Title: Benchmarking LLM Judges for Voice-Agent Evaluation: Reliability, Calibration, and Human Oversight
- Title（参考訳）: 声質評価のためのLLM審査員のベンチマーク:信頼性・校正・人的監督
- Abstract要約: GPT-4.1 と GPT-5 を会話の質と安全性の面で比較した。
自動でどの属性を確実に判断できるかを特定するために,計量レベルの相関,評価器の整合性,体系的な人間-LLMの不一致について検討する。
- 参考スコア（独自算出の注目度）: 1.8147290789002162
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating conversational voice agents at scale re- quires reliable assessment methods that capture both observ- able interaction quality and the contextual judgment typically provided by human evaluators. We investigate LLM-as-a-Judge evaluation by comparing human judgments with GPT-4.1 and GPT-5 on telecom and retail voice-agent conversations, across conversational quality and safety dimensions. The same interac- tions are scored under three evaluation configurations, p0, p1, and p2, to test whether automated judgments are sensitive to the evaluation setup and whether observed patterns generalize across configurations and judge models. Beyond aggregate agreement, we examine metric-level correlations, evaluator consistency, and systematic human-LLM disagreement to identify which conver- sational attributes can be judged reliably by automation and which remain sensitive to interpretation and context. Effective voice-agent evaluation is also shaped by pipeline-level factors such as speech generation, streaming, and error propagation across ASR, reasoning, and tool-calling stages, motivating our focus on comparing how human and LLM judges score the same interactions end to end. Our results show that LLM- based evaluation can serve as an effective component of large- scale voice-agent assessment, but that its reliability is metric- and configuration-dependent rather than uniform. This pro- vides an empirical framework for identifying which metrics suit automated evaluation and supports hybrid pipelines in which LLM judges handle scalable assessment while human evaluators remain engaged for metrics that demand contextual interpretation and higher-confidence judgment.
- Abstract（参考訳）: 対話型音声エージェントを大規模に評価することは、観察可能な対話品質と人間の評価者によって提供される文脈的判断の両方をキャプチャする信頼性の高い評価方法を再検討する。
GPT-4.1 と GPT-5 を会話の質と安全性の面で比較し,LLM-as-a-Judge の評価について検討した。
3つの評価構成(p0,p1,p2)で、自動判定が評価設定に敏感かどうか、観察されたパターンが構成や判断モデルにまたがって一般化するかどうかを判定する。
集約された合意の他に、計量レベルの相関関係、評価器の整合性、体系的な人間-LLMの不一致を検証し、どのコンバー-満足属性が自動化によって確実に判断され、解釈や文脈に敏感なかを特定する。
音声エージェントの効果的な評価は、音声生成、ストリーミング、ASR間のエラー伝播、推論、ツール呼び出しといったパイプラインレベルの要因によってもなされる。
以上の結果から,LLMに基づく評価は大規模音声エージェント評価の有効成分として有効であるが,信頼性は均一ではなく,メートル法と構成に依存していることがわかった。
このフレームワークは、どのメトリクスが自動評価に適しているかを特定するための実証的なフレームワークであり、LLM判事がスケーラブルな評価を扱うハイブリッドパイプラインをサポートする一方で、人間の評価者は文脈的解釈と高信頼度判断を要求するメトリクスに関わり続ける。
関連論文リスト
- Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation [8.942079114981052]
大規模言語モデル (LLM) は情報検索 (IR) 評価において関連性評価器としてますます利用されている。
LLM評価器の感度を明らかにするための診断機構としてのペルソナ条件付けについて検討した。
論文 参考訳（メタデータ） (2026-08-11T02:26:47Z) - LLM-as-a-Judge for Evaluating System Responses in Conversational Music Recommendation [20.276417246845593]
本稿では,CRS応答評価のためのLCM-as-a-judgeの信頼性を実証的に評価する最初のユーザスタディを提案する。
20のドメインエキスパートアノテータから$n=400$のレーティングを収集し、各レスポンスをパーソナライズ品質と説明品質の2つの次元にわたって評価する。
LLMに基づく審査員は、人間の評価と適度な正の一致を示し、基準ベースラインを上回ります。
論文 参考訳（メタデータ） (2026-07-28T12:26:55Z) - Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。
我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。
対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
論文 参考訳（メタデータ） (2026-04-10T09:02:42Z) - How Trustworthy Are LLM-as-Judge Ratings for Interpretive Responses? Implications for Qualitative Research Workflows [0.6437935154416734]
本研究では,LLM-as-judge評価が解釈品質の人的判断と有意に一致しているかどうかを検討する。
5つの広く採用されている推論モデルを用いて一文解釈応答を生成した。
その結果, LLM-as-judgeスコアは, モデルレベルでの人間の評価において, 幅広い方向の傾向をとらえるが, スコアの程度は著しく異なることがわかった。
論文 参考訳（メタデータ） (2026-03-09T15:22:41Z) - Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。
ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。
我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
論文 参考訳（メタデータ） (2025-04-20T19:05:59Z) - The simulation of judgment in LLMs [32.57692724251287]
大規模言語モデル(LLM)は、情報フィルタリングから説明と信頼性の判断を通じて知識ギャップの評価と対処に至るまで、評価プロセスに組み込まれている。
これにより、このような評価がどのように構築されるのか、どのような仮定に依存しているのか、その戦略が人間のものとどのように異なるのかを調べる必要が生じる。
我々は、専門家の評価に対して、6つのLCM(NewsGuardとMedia Bias/Fact Check)と、制御された実験を通して収集された人間の判断に対してベンチマークを行った。
論文 参考訳（メタデータ） (2025-02-06T18:52:10Z) - HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。
HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。
本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
論文 参考訳（メタデータ） (2024-12-20T03:26:47Z) - Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。
人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。
要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-16T06:06:06Z) - Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。
LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。
Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
論文 参考訳（メタデータ） (2024-03-25T17:11:28Z) - Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
大型言語モデル(LLM)は、関連判断を支援することができると主張している。
自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
論文 参考訳（メタデータ） (2023-04-13T13:08:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。