論文の概要: AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling
- arxiv url: http://arxiv.org/abs/2608.26623v1
- Date: Thu, 27 Aug 2026 05:20:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.247262
- Title: AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling
- Title（参考訳）: AgentJudgeBench: エージェントツールカーリングにおけるLLM判事評価のための多難解ベンチマーク
- Abstract要約: LLM審査員はエージェントツール呼び出しシステムの評価に広く用いられているが、構造化された依存性駆動システムに対する信頼性はほとんど検討されていない。
本稿では,MLM-as-a-judge信頼性をワークフローDAG上でのエージェントツール呼び出しに対して体系的に研究する最初のベンチマークであるAgentJudgeBenchを提案する。
- 参考スコア（独自算出の注目度）: 3.2665457005470504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM judges are widely used to evaluate agentic tool-calling systems, yet their reliability on structured, dependency-driven workflows remains largely unexamined. We present AgentJudgeBench, the first benchmark to systematically study LLM-as-a-judge reliability for agentic tool-calling over workflow DAGs, as distinct from the broader LLM-as-a-judge task of open-ended text or preference evaluation. The benchmark comprises 3,808 instances spanning six DAG topologies and three difficulty tiers, evaluated with five generators (3B-70B open-weight models and GPT-5.4) and six judges (20B to frontier scale) under paired with- and without-ground-truth conditions. Judge alignment degrades monotonically with task difficulty, 1.5x faster without ground truth, and on hard queries without ground truth all six judges converge to a narrow 77-82% band regardless of scale, revealing a structural ceiling driven primarily by task difficulty, though its height is partly prompt-dependent for weaker generators, that model capacity alone cannot overcome. Ground-truth exposure is not uniformly beneficial: it reduces alignment for GPT-5.4 (1.5 pp) and Gemini-2.5-Pro (3.9 pp), consistent with over-anchoring. Among mitigation strategies, chain-of-thought reasoning and judge temperature both have negligible effect, while structured evaluation rubrics improve alignment by up to 6.5 pp but do not generalize uniformly across judge-generator pairs. With ground truth, QwQ-32B best matches the programmatic reference, while a human validation study identifies GPT-OSS-120B as the most human-aligned judge; without it, frontier judges lead only marginally within the shared ceiling. These results expose fundamental limitations of current LLM judges and yield practical guidelines for reliable evaluation in agentic systems.
- Abstract（参考訳）: LLM審査員はエージェントツール呼び出しシステムの評価に広く使用されているが、構造化された依存性駆動ワークフローに対する信頼性はほとんど検討されていない。
本稿では,MLM-as-a-judge の信頼性をワークフロー DAG 上でのエージェントツールコールに対して体系的に研究する最初のベンチマークである AgentJudgeBench について,オープンエンドテキストや嗜好評価の LLM-as-a-judge タスクとは異なっている。
ベンチマークは6つのDAGトポロジと3つの困難層にまたがる3,808のインスタンスで構成され、5つのジェネレータ (3B-70B オープンウェイトモデルと GPT-5.4) と6つの審査員 (20B からフロンティアスケール) を組み合わせて評価した。
判断アライメントはタスクの難易度によって単調に低下し、地上の真理なしに1.5倍速くなり、6人の裁判官はいずれもスケールに関係なく77-82%の狭い帯域に収束する。
GPT-5.4 (1.5 pp) とGemini-2.5-Pro (3.9 pp) のアライメントはオーバーアンカリングと一致している。
緩和戦略の中で、連鎖推論と判断温度はいずれも無視できる効果を有し、構造化された評価ルーブリックは最大6.5ppのアライメントを改善するが、判定ジェネレータ対を均一に一般化しない。
根拠として、QwQ-32Bはプログラム的基準に最もよく適合し、人間による検証では、GPT-OSS-120Bは最も人間に整合した裁判官であると見なされている。
これらの結果は,現行のLLM審査員の基本的限界を明らかにし,エージェントシステムにおける信頼性評価のための実践的ガイドラインを導出する。
関連論文リスト
- Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。
生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。
どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
論文 参考訳（メタデータ） (2026-08-30T20:00:17Z) - Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment [0.764671395172401]
AstraZenecaに配備された薬剤発見アシスタントChatInventのためのLCM-as-a-Judge評価フレームワークを提案する。
Gemini 3.1 Pro, Claude Opus 4.7, GPT-5, Llama 3.1 70B の5種類のアライメントアノテータを用いて審査を行った。
第三に、人間に注釈を付けた例の少数ショットのデモを用いて、最高のパフォーマンスの審査員を最適化し、人間の多数決との整合性を0.80から0.86に改善する。
論文 参考訳（メタデータ） (2026-08-21T12:58:24Z) - Benchmarking LLM Judges for Mobile Agent Evaluation [19.646382307148418]
我々は,移動エージェント軌道上でのLCM-as-judge法の評価ベンチマークであるMobileJudgeBenchを紹介する。
ベンチマークは,6つのモバイルエージェントベンチマーク,4つのエージェントモデル,68のアプリにまたがる931の人的注釈付きトラジェクトリで構成されている。
まず、サンプルのスクリーンショットを持つ単純な基準判定器は、目的の手法と競合し、しばしば競合する。
第二に、ベンチマークの品質指標は現実世界の判断の有用性を確実に予測する。
論文 参考訳（メタデータ） (2026-08-11T21:00:46Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Understanding LLM Evaluator Behavior: A Structured Multi-Evaluator Framework for Merchant Risk Assessment [26.786161923794115]
大規模言語モデル(LLM)は、推論品質の評価手段としてますます使われていますが、その信頼性と支払いリスク設定の偏りはよく分かっていません。
本稿では,Merchant Category Code(MCC)に基づく商業リスク評価において,LCM推論を評価するための構造化マルチ評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-04T22:55:16Z) - Incentivizing Agentic Reasoning in LLM Judges via Tool-Integrated Reinforcement Learning [30.906073889018728]
大きな言語モデル(LLM)は、応答品質を評価するために広く使われ、人間の評価に代わるスケーラブルな代替手段を提供する。
我々は,LLM審査員を訓練するためのエンドツーエンドのRLフレームワークであるTIR-Judgeを提案し,正確な評価のためにコードエグゼキュータを統合する。
論文 参考訳（メタデータ） (2025-10-27T06:03:37Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - CompassJudger-2: Towards Generalist Judge Model via Verifiable Rewards [72.44810390478229]
CompassJudger-2は、タスク駆動のマルチドメインデータキュレーション戦略によって制限を克服する新しいジェネラリストジャッジモデルである。
CompassJudger-2は、複数の判定と報奨ベンチマークで優れた結果を得る。
論文 参考訳（メタデータ） (2025-07-12T01:34:24Z) - J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。
我々はReasoningJudgeBenchというベンチマークを紹介します。
EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
論文 参考訳（メタデータ） (2025-05-19T16:50:35Z) - Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。
3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。
我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
論文 参考訳（メタデータ） (2025-04-21T17:33:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。