論文の概要: Automated Transcript Analysis for Detecting Flaws in Agentic Benchmarks

• arxiv url: http://arxiv.org/abs/2607.27518v1
• Date: Wed, 29 Jul 2026 23:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.34442
• Title: Automated Transcript Analysis for Detecting Flaws in Agentic Benchmarks
• Title（参考訳）: エージェントベンチマークにおける欠陥検出のための自動トランスクリプト解析
• Abstract要約: 我々はAIスキャナーを開発し、真実へのアクセス、ツールの故障、脆弱性の推測、回答フォーマットのあいまいさの4つの種類の妥当性問題を検出する。 我々のスキャナーは5つの広く使用されているベンチマークにおいて、ランダムな手動検査で捉えられないケースを含む、いくつかの検証された品質問題を特定した。
• 参考スコア（独自算出の注目度）: 2.4035041353107673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Capabilities of frontier models are often assessed using agentic benchmarks. To trust these results, benchmarks must accurately measure what they claim to and be free from invalidating flaws. Previous manual audits of benchmarks such as SWE-Bench-Verified have uncovered several validity issues in transcripts. However, manual review is difficult to scale, and it is unclear whether automated methods can reliably surface flaws that compromise benchmark validity. In this paper, we developed AI scanners to detect four types of validity issues: ground truth access, tool failure, guessing vulnerability, and answer format ambiguity. We produced grading rubrics for each to instruct human labeling, and evaluated the scanners against human labels on a held-out test set of Inspect Evals benchmarks. Our scanners identified several verified quality issues in five widely used benchmarks, including cases unlikely to be caught by random manual inspection. Not all cases were identified, and scanner performance varied substantially across benchmarks, criteria and models. We highlight several open challenges to be addressed to improve scanners for stronger quality assurance claims, including broader standardization gaps in the evaluation field that degrade scanner performance. Together, these results serve as a proof of concept for using automated transcript analysis to audit benchmark quality more broadly.
• Abstract（参考訳）: フロンティアモデルの能力はエージェントベンチマークを用いて評価されることが多い。 これらの結果を信頼するには、ベンチマークは彼らが主張するものを正確に測定し、欠陥の無効化を免れる必要がある。 以前のSWE-Bench-Verifiedのようなベンチマークによる手作業による監査では、書き起こしにおけるいくつかの妥当性の問題が明らかになった。 しかし,手作業によるレビューのスケールアップは困難であり,自動手法がベンチマークの有効性を損なう欠陥を確実に発見できるかどうかは不明である。 本稿では,AIスキャナを用いて,真理アクセス,ツールの故障,脆弱性の推測,解答形式の不明瞭さの4種類の妥当性問題を検出する。 Inspect Evalsベンチマークの保持テストセットを用いて,人間のラベルに対するスキャナーの評価を行った。 我々のスキャナーは5つの広く使用されているベンチマークで、ランダムな手動検査で捉えられないケースを含む、いくつかの検証された品質問題を特定した。 すべてのケースが特定されるわけではなく、スキャナのパフォーマンスはベンチマーク、基準、モデルによって大きく異なっていた。 我々は,スキャナ性能を低下させる評価分野における,より広範な標準化ギャップを含む,より高品質な保証要求に対するスキャナの改善に対処すべきいくつかのオープンな課題を強調した。 これらの結果は、自動転写解析を用いてベンチマーク品質をより広範囲に評価するための概念実証となる。

関連論文リスト

• Faults in Our Formal Benchmarking: Dataset Defects and Evaluation Failures in Lean Theorem Proving [13.87786274932945]
  リーンで証明されたLCM支援定理のベンチマークは、すべての解決されたインスタンスがマシンチェックされた証明を持ってくるため、本質的に信頼できるものとして扱われることが多い。 コーパススケールの静的チェッカーを用いて4,833個の結果を得た。 本稿では,フォールト分類法,自動チェッカーとリコール指向のセマンティック監査プロンプト,および公式な数学データセットの作成を導くための標準リリースを提案する。
  論文  参考訳（メタデータ） (2026-06-28T16:46:36Z)
• Automated Benchmark Auditing for AI Agents and Large Language Models [46.03841647776303]
  Auto Benchmark Audit (ABA)は、個々のベンチマークタスクを体系的に監査するエージェントフレームワークである。 私たちは、9つのドメインで合計168のベンチマークで、Frontier LLMベンチマークと以前のNeurIPSパブリッシュのコレクションでABAを実行しています。 ABAは、不明瞭なタスク設計、実行環境の矛盾、そして、評価されたタスクの25.7%以上において、誤った根拠の真実を含む重要な問題を特定する。
  論文  参考訳（メタデータ） (2026-05-25T17:44:21Z)
• BenchGuard: Who Guards the Benchmarks? Automated Auditing of LLM Agent Benchmarks [26.58983143152204]
  BenchGuardはタスク指向、実行ベースのエージェントベンチマークのための最初の自動監査フレームワークである。 それは、ScienceAgentBenchの12の著者確認問題と、BIXBench Verified-50サブセットのエキスパート特定問題の83.3%を特定している。 USD 15の50の複雑なバイオインフォマティクスタスクの完全な監査により、自動ベンチマーク監査は人間によるレビューの実践的で価値のある補完となる。
  論文  参考訳（メタデータ） (2026-04-27T19:51:25Z)
• DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
  既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。 本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。 我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-06T05:05:57Z)
• BenchBrowser -- Collecting Evidence for Evaluating Benchmark Validity [29.31434780089624]
  高レベルのメタデータは、ベンチマークの粒度の現実を伝えるには大きすぎる。 BenchBrowser氏は、20のベンチマークスイートで自然言語のユースケースに関する評価項目を公開している。 実践者意図と実際にテストするベンチマークの間に重要なギャップを定量化するのに役立ちます。
  論文  参考訳（メタデータ） (2026-02-25T04:02:36Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
  本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。 PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。 本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
  論文  参考訳（メタデータ） (2026-01-07T04:26:12Z)
• Fantastic Bugs and Where to Find Them in AI Benchmarks [28.604919035475188]
  本稿では, 応答パターンの統計的解析を利用して, 潜在的に無効な質問にフラグを付ける手法を提案する。 我々のアプローチは、平均スコアがモデル性能を十分に要約する、AI評価で一般的に使用されるコア仮定に基づいています。 提案手法は,9つの広く使用されているベンチマークにおいて,最大84%の精度で問題のある問題を特定するために専門家のレビューをガイドする。
  論文  参考訳（メタデータ） (2025-11-20T22:49:21Z)
• SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
  話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。 既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。 SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
  論文  参考訳（メタデータ） (2025-09-21T14:11:16Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
  ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。 DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。 DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
  論文  参考訳（メタデータ） (2023-07-04T01:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。