論文の概要: Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation

• arxiv url: http://arxiv.org/abs/2607.02577v1
• Date: Tue, 30 Jun 2026 21:10:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 13:47:47.936756
• Title: Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation
• Title（参考訳）: ベンチマークのベンチマーク: ツールケア評価の妥当性監査
• Abstract要約: 本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。 496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。 ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
• 参考スコア（独自算出の注目度）: 3.079997053226693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-calling benchmarks are increasingly used to rank language-model agents, yet their scores are often treated as ground truth without validating the evaluators themselves. We present a systematic validity and reproducibility audit of four major tool-calling benchmark families: BFCL v4, τ2-Bench, LiveMCPBench, and MCP-Atlas. Across 496 expert-reviewed benchmark tasks, we find 92 evaluator-human disagreements, corresponding to an 18.5% misalignment rate. The failures are not isolated annotation mistakes: deterministic benchmarks exhibit brittle state matching, trajectory lock-in, incorrect ground truths, substring-based communication failures, and reward-basis misalignment, while LLM-judge benchmarks exhibit rubric drift, hallucinated completion, answer-only scoring, and substantial run-to-run variance. In LiveMCPBench, 23 repeated evaluations of the same setup produce scores ranging from 57.9% to 76.8%, a spread of 18.9 percentage points, large enough to change leaderboard conclusions. These results show that current tool-calling scores can reflect evaluator artifacts rather than agent capability. We introduce a unified taxonomy of tool-calling evaluation failures, release trace-level audit artifacts and corrected evaluation components, and argue for decomposed metrics that separately measure tool invocation, task completion, and outcome verification. Our findings suggest that progress in tool-using agents requires benchmarks whose evaluators are themselves reproducible, auditable, and aligned with human judgments of task success. We further introduce Tool-Veritas, a configurable benchmark that combines deterministic state verification with optional qualitative judging, and Harness Lab, an open-source system for benchmark execution, trace inspection, repeated-run comparison, and evaluator debugging.
• Abstract（参考訳）: ツールコールベンチマークは、言語モデルエージェントのランク付けにますます使用されているが、それらのスコアは、評価者自身を検証せずに、基礎的な真実として扱われることが多い。 BFCL v4, τ2-Bench, LiveMCP Bench, MCP-Atlasの4つの主要なツールコールベンチマークファミリーの系統的妥当性と再現性検査を行った。 496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。 決定論的ベンチマークでは、不安定な状態マッチング、トラジェクトリロックイン、誤った基底真理、サブストリングベースの通信失敗、報酬ベースミスアライメントが示され、LCM-judgeベンチマークでは、ぼんやりしたドリフト、幻覚的な完了、回答のみのスコアリング、実質的な実行時差が示されています。 LiveMCPBenchでは、同じ設定を23回繰り返し評価することで、57.9%から76.8%のスコアが得られ、18.9%のポイントが広がり、リーダーボードの結論を変えるのに十分な大きさとなった。 これらの結果から,現在のツールコールスコアはエージェント機能ではなく,評価対象の成果物を反映できることがわかった。 ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する分解メトリクスを論じる。 ツール利用エージェントの進歩は、評価者が再現可能で、監査可能で、タスク成功の人間の判断と一致しているベンチマークを必要とすることを示唆している。 さらに、決定論的状態検証と任意定性判定を組み合わせた設定可能なベンチマークであるTool-Veritasと、ベンチマーク実行、トレースインスペクション、繰り返し実行比較、評価器デバッグのためのオープンソースのシステムであるHarness Labを紹介する。

関連論文リスト

• The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
  エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。 実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。 ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
  論文  参考訳（メタデータ） (2026-09-06T21:23:11Z)
• Grounded Checklist Partial Credit for Agent Skill Trajectories [5.028537745773042]
  グラウンドドチェックリスト部分クレジット(GCPC)は、エージェント軌跡の人為的な部分クレジット評価である。 12のタスクから96のトラジェクトリに対する人間の評価は、G CPCが人間の進捗評価とより密接に一致していることを示している。 パイプラインはターミナルベンチやSWEベンチにも移行し、スキル条件による評価を超えた適用性を示す。
  論文  参考訳（メタデータ） (2026-08-26T06:17:19Z)
• Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks [1.671764884922859]
  確立された4つのコモンセンスベンチマーク,4つのリワークされた変種,3つの非常識制御,8つの下流タスクの6つのファミリーから23のモデルを評価した。 我々は、モデルランキング、計算制御された相関関係を比較し、コモンセンスベンチマークの基準妥当性を評価するために、一戸一戸一戸建てのクロスバリデーションを使用する。
  論文  参考訳（メタデータ） (2026-08-04T08:49:34Z)
• Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI [6.058290832294911]
  エージェントベンチマークは、リポジトリの編集、Web研究、端末の使用、長期のインタラクションをますます評価している。 最近の報奨ベンチマークとシステムレポートは、エージェントが代わりに公開ソリューションを回復し、評価成果物を読み、ジェネレータ構造を推論し、フィードバックを操作し、不正なスコアリングパスの恩恵を受けることができることを示している。 我々は、プロトコルの有効性を定式化し、露出を特定し、エージェントがどのように使用したかを決定し、その結果のスコアが誤解を招くかどうかを評価するポストホック監査であるHackDetectを導入する。
  論文  参考訳（メタデータ） (2026-07-24T14:55:19Z)
• Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking [0.0]
  本稿では,小売会話システムの大規模評価を行うための管理型構成駆動パイプラインであるGenAI Evaluationを提案する。 このフレームワークは、有用性、真理性、明瞭性、音調アライメント、翻訳特化次元を評価する。 パイプラインのマクロF1スコアは0.93で、翻訳の精度は89%だった。
  論文  参考訳（メタデータ） (2026-07-13T19:01:56Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents [4.908588441456849]
  ProcCtrlBenchは、LLM符号化エージェントの実行プロセス評価のベンチマークである。 4つのカテゴリで11の障害タイプをカバーする再利用可能なオントロジーに、繰り返し実行される障害を整理する。 最終結果のみではなく、標準化されたプロセスエビデンスを通じてエージェントの軌跡を評価する。
  論文  参考訳（メタデータ） (2026-05-18T08:34:48Z)
• Deployment-Relevant Alignment Cannot Be Inferred from Model-Level Evaluation Alone [11.663456969895462]
  機械学習におけるアライメント評価は、主にモデルの評価となっている。 本稿では, モデルレベルの評価だけでは, 配置関連アライメントを推定できないことを論じる。
  論文  参考訳（メタデータ） (2026-05-06T03:28:30Z)
• BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks [26.58983143152204]
  BenchGuardはタスク指向、実行ベースのエージェントベンチマークのための最初の自動監査フレームワークである。 それは、ScienceAgentBenchの12の著者確認問題と、BIXBench Verified-50サブセットのエキスパート特定問題の83.3%を特定している。 USD 15の50の複雑なバイオインフォマティクスタスクの完全な監査により、自動ベンチマーク監査は人間によるレビューの実践的で価値のある補完となる。
  論文  参考訳（メタデータ） (2026-04-27T19:51:25Z)
• DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
  既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。 本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。 我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-06T05:05:57Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Fantastic Bugs and Where to Find Them in AI Benchmarks [28.604919035475188]
  本稿では, 応答パターンの統計的解析を利用して, 潜在的に無効な質問にフラグを付ける手法を提案する。 我々のアプローチは、平均スコアがモデル性能を十分に要約する、AI評価で一般的に使用されるコア仮定に基づいています。 提案手法は,9つの広く使用されているベンチマークにおいて,最大84%の精度で問題のある問題を特定するために専門家のレビューをガイドする。
  論文  参考訳（メタデータ） (2025-11-20T22:49:21Z)
• Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
  自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。 FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。 推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
  論文  参考訳（メタデータ） (2025-10-20T17:52:06Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。