論文の概要: GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents
- arxiv url: http://arxiv.org/abs/2609.12191v1
- Date: Thu, 10 Sep 2026 20:29:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.54177
- Title: GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents
- Title（参考訳）: GAUGE:タスク指向エージェントのユーザシミュレーション評価におけるLCM-as-a-Judgeを信頼しない場合
- Abstract要約: GAUGEは,ゲートのランクが確定可能な報酬と一致するかどうかを測定する,再利用可能なオフラインプロトコルである。
満足感は基本的にタスクの成功に関する情報を 含まないのです
そこで我々は,無判定完備ビットをゼロコストトリップワイヤとしてトランニケーションレグレッションを補正するキャリブレート・テイントラストカデンスを提案する。
- 参考スコア（独自算出の注目度）: 5.041247893188969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Comparing and selecting task-oriented LLM agents increasingly relies on a low-cost offline evaluation gate: persona-driven LLM user-simulators converse with each candidate, an LLM-as-a-judge scores the transcripts, and the higher-scoring agent is promoted. We introduce GAUGE, a reusable offline protocol that measures whether this gate's ranking matches a grounded verifiable reward across 25 agents from six providers on the $τ^2$-bench and SimulatorArena benchmarks, separating two kinds of evaluation validity that release practices conflate: ranking validity and construct validity. First, a satisfaction-success gap: satisfaction carries essentially no information about task success, as conversations rated satisfied by our blind panel are decorrelated from actual success, with 57.5% of them failing the customer's task, a pattern consistent across five rater populations, both benchmarks, and every subjective dimension we rated. Second, while the gate's ranking is robust across the broad capability span, it loses resolution among the near-equal strong agents: this decision-disagreement rate jumps from $<$1% on wide-reward pairs to 31% on close pairs. The gate is thus human-validated yet mis-anchored. As a remedy, we propose a calibrate-then-trust cadence in which a judge-free completion bit is a zero-cost tripwire for truncation regressions.
- Abstract（参考訳）: タスク指向のLLMエージェントの比較と選択は、低コストのオフライン評価ゲートにますます依存している:ペルソナ駆動のLLMユーザシミュレータが各候補と対話し、LLM-as-a-judgeが転写をスコアし、より高いスコアリングエージェントが促進される。
GAUGEは、このゲートのランク付けが、$τ^2$-benchとSimulatorArenaのベンチマークで6つのプロバイダの25のエージェントで検証された報酬と一致するかどうかを判定する再利用可能なオフラインプロトコルである。
まず、満足度と満足度の間には、基本的にタスクの成功に関する情報は含まれない。盲目のパネルで評価された会話は、実際の成功とは非相関であり、57.5%が顧客のタスクに失敗し、5つの利子人口、両方のベンチマーク、そして私たちが評価したすべての主観的次元に一貫したパターンである。
第二に、ゲートのランクは幅広い能力の範囲で堅牢であるが、ほぼ平等な強力なエージェントの間では分解能が失われ、この決定の相違率はワイド・リワード対では$<1%から、クローズペアでは31%へと上昇する。
ゲートは人間に改ざんされているが、誤解されている。
そこで本研究では,無判定完備ビットをゼロコストトリップワイヤとしてトランケーションレグレッションを補正するキャリブレート・テイントラストのカデンスを提案する。
関連論文リスト
- Grounded Checklist Partial Credit for Agent Skill Trajectories [5.028537745773042]
グラウンドドチェックリスト部分クレジット(GCPC)は、エージェント軌跡の人為的な部分クレジット評価である。
12のタスクから96のトラジェクトリに対する人間の評価は、G CPCが人間の進捗評価とより密接に一致していることを示している。
パイプラインはターミナルベンチやSWEベンチにも移行し、スキル条件による評価を超えた適用性を示す。
論文 参考訳（メタデータ） (2026-08-26T06:17:19Z) - TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents [22.01777615106231]
Long-Horizon Large Language Model (LLM) エージェントは通常、スパース終端結果に最適化される。
本稿では、ステップレベルの監督を行動誘発遷移から直接引き出すトランジッションワイド・クレジット・アサインメントを提案する。
ALFWorld、WebShop、および7つの検索拡張された質問回答ベンチマークの実験は、評価されたベースラインよりも一貫した改善を示している。
論文 参考訳（メタデータ） (2026-08-17T06:19:12Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - SEAL: Can Saturated Benchmarks Be Revived by LLM-as-a-Meta-Judge? [26.684941358964704]
SEALは飽和ベンチマークから遅延ランキング信号を抽出するための自己改善評価プロトコルである。
我々は、コード生成、数学的推論、知識集約型質問応答、ツール使用エージェントタスク完了を含む複数の飽和ベンチマーク上でSEALを評価する。
論文 参考訳（メタデータ） (2026-05-28T15:46:54Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。
本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。
CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
論文 参考訳（メタデータ） (2026-03-13T15:48:15Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge [90.8674158031845]
提案するクラウド・ベース・コンピレーション・アセスメントは,提案するクラウド・レスポンスを,候補の応答と比較するための追加のクラウド・レスポンスを導入する。
このプロセスはLLM-as-a-Judgeを効果的に誘導し、より詳細なCoT判定を提供する。
提案手法は, 高い品質のCoTを製造し, 蒸留を判断し, 拒絶サンプリングにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2025-02-18T03:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。