論文の概要: BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks
- arxiv url: http://arxiv.org/abs/2604.24955v1
- Date: Mon, 27 Apr 2026 19:51:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-29 16:49:17.579027
- Title: BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks
- Title（参考訳）: BenchGuard: LLMエージェントベンチマークの監査を自動化するのは誰か?
- Abstract要約: BenchGuardはタスク指向、実行ベースのエージェントベンチマークのための最初の自動監査フレームワークである。
それは、ScienceAgentBenchの12の著者確認問題と、BIXBench Verified-50サブセットのエキスパート特定問題の83.3%を特定している。
USD 15の50の複雑なバイオインフォマティクスタスクの完全な監査により、自動ベンチマーク監査は人間によるレビューの実践的で価値のある補完となる。
- 参考スコア（独自算出の注目度）: 26.58983143152204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As benchmarks grow in complexity, many apparent agent failures are not failures of the agent at all - they are failures of the benchmark itself: broken specifications, implicit assumptions, and rigid evaluation scripts that penalize valid alternative approaches. We propose employing frontier LLMs as systematic auditors of evaluation infrastructure, and realize this vision through BenchGuard, the first automated auditing framework for task-oriented, execution-based agent benchmarks. BenchGuard cross-verifies all benchmark artifacts via structured LLM protocols, optionally incorporating agent solutions or execution traces as additional diagnostic evidence. Deployed on two prominent scientific benchmarks, BenchGuard identified 12 author-confirmed issues in ScienceAgentBench - including fatal errors rendering tasks unsolvable - and exactly matched 83.3% of expert-identified issues on the BIXBench Verified-50 subset, catching defects that prior human review missed entirely. A full audit of 50 complex bioinformatics tasks costs under USD 15, making automated benchmark auditing a practical and valuable complement to human review. These findings point toward AI-assisted benchmark development, where frontier models serve not only as subjects of evaluation but as active participants in validating the evaluation infrastructure itself.
- Abstract（参考訳）: ベンチマークが複雑化するにつれて、明らかなエージェントの失敗の多くはエージェントの失敗ではなく、ベンチマーク自体の失敗である。
評価基盤の体系的な監査手段としてフロンティア LLM を採用することを提案し,タスク指向型エージェントベンチマークのための最初の自動監査フレームワークであるBenchGuard を通じて,このビジョンを実現する。
BenchGuardは構造化LDMプロトコルを通じてすべてのベンチマークアーティファクトを横断的に検証し、追加の診断証拠としてエージェントソリューションや実行トレースを任意に組み込む。
2つの著名な科学的ベンチマーク上に展開されたBenchGuardは、ScienceAgentBenchの12の著者確認問題(致命的なエラーレンダリングタスクを含む)を特定し、BIXBench Verified-50サブセットの83.3%と正確に一致した。
USD 15の50の複雑なバイオインフォマティクスタスクの完全な監査により、自動ベンチマーク監査は人間によるレビューの実践的で価値のある補完となる。
これらの知見は、フロンティアモデルが評価対象として機能するだけでなく、評価基盤自体の検証に積極的な参加者として機能する、AI支援型ベンチマーク開発に向けられている。
関連論文リスト
- Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation [3.079997053226693]
本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。
496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。
ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
論文 参考訳（メタデータ） (2026-06-30T21:10:42Z) - TADDLE: A Tool-Augmented Agent for Detecting Deficient LLM-Generated Peer Reviews [4.404176366651557]
LLM生成ピアレビューにおける欠陥検出ツールであるTADDLEを紹介する。
ベンチマークは、50のICLR 2025論文に対する1,800のレビューで構成されており、18のドメインエキスパートがマルチラベルをアノテートしている。
大規模な実験により,TADDLEは2値検出と多ラベル分類の両方に強く依存することが示された。
論文 参考訳（メタデータ） (2026-05-26T12:07:44Z) - Automated Benchmark Auditing for AI Agents and Large Language Models [46.03841647776303]
Auto Benchmark Audit (ABA)は、個々のベンチマークタスクを体系的に監査するエージェントフレームワークである。
私たちは、9つのドメインで合計168のベンチマークで、Frontier LLMベンチマークと以前のNeurIPSパブリッシュのコレクションでABAを実行しています。
ABAは、不明瞭なタスク設計、実行環境の矛盾、そして、評価されたタスクの25.7%以上において、誤った根拠の真実を含む重要な問題を特定する。
論文 参考訳（メタデータ） (2026-05-25T17:44:21Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。
本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。
我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-03-06T05:05:57Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。
このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。
我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文 参考訳（メタデータ） (2025-07-03T17:35:31Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。