論文の概要: Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation

• arxiv url: http://arxiv.org/abs/2610.05830v1
• Date: Mon, 05 Oct 2026 05:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 04:00:18.581117
• Title: Measurement-First Auditing of Agentic Leaderboards: Contamination Susceptibility, Matched-Control Re-evaluation, and Scorer Validation
• Title（参考訳）: エージェント・リーダーボードの計測-第1報:汚染感受性、マッチング・コントロル再評価、およびスカラー検証
• Abstract要約: 本報告では, 汚染の主張を, 支援に必要な証拠に応じて識別する, 測定ファーストの監査フレームワークを提案する。 本稿では,SWE-bench Verified上でのファイルローカライズギャップを報告した。 結果は、トレーニングデータメンバーシップ、汚染率、ベンチマークによるスコアインフレーションを確立しない。
• 参考スコア（独自算出の注目度）: 5.114361110970449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic leaderboards increasingly evaluate systems on public benchmarks whose task statements and solution-bearing artifacts can remain accessible. We propose a measurement-first audit framework that distinguishes contamination claims according to the evidence required to support them. It separates three channels that require different evidence: training-time exposure, evaluation-time retrieval, and pipeline/scaffold leakage. Each channel is coded as open, partial, closed, or unknown under a fail-closed rule. Across nine Holistic Agent Leaderboard (HAL) configurations, none of the 27 channel assessments was coded closed, but incidents were confirmed in four configurations. We then apply the behavioral component of the framework to a reported file-localization gap on SWE-bench Verified, using an outcome-blind, same-repository matched-control design with symmetric prompt-leakage screening, paired and repository-aware uncertainty analyses, and scorer validation, evaluated on GPT-4.1 and DeepSeek-V4-Flash. Among the 100 pairs retained after symmetric screening and the pair-integrity exclusion, GPT-4.1 showed a $+10.0$-point pair-weighted Top-3 benchmark-associated gap, but the 95\% intervals from both the prespecified paired-bootstrap procedure and the post-hoc repository-balanced analysis included zero, leaving the benchmark-associated gap inconclusive. The reproduction scorer did not pass its validation gate: against consensus human labels, sufficient scorer sensitivity could not be established for either model, and both DeepSeek-V4-Flash firings on correct-gold comparisons were false positives. Without provenance evidence, appropriate controls, symmetric leakage screening, and validated scorers, stronger contamination claims are not warranted. The results do not establish training-data membership, contamination prevalence, or benchmark-induced score inflation.
• Abstract（参考訳）: エージェントのリーダーボードは、タスクステートメントとソリューションを持つアーティファクトが引き続きアクセス可能なパブリックベンチマーク上のシステムを評価する傾向にある。 本報告では, 汚染の主張を, 支援に必要な証拠に応じて識別する, 測定ファーストの監査フレームワークを提案する。 トレーニング時間露光、評価時間検索、パイプライン/スキャフォールドリークという、異なるエビデンスを必要とする3つのチャネルを分離する。 各チャネルは、フェールクローズドルールの下で、オープン、部分的、クローズド、不明としてコード化される。 9つのHAL(Horistic Agent Leaderboard)構成のうち、27のチャンネルアセスメントはクローズドではないが、インシデントは4つの構成で確認された。 次に,SWE-bench Verifiedのファイルローカライズギャップの報告にフレームワークの動作成分を適用し,SWE-bench Verifiedにおいて,SWE-4.1とDeepSeek-V4-Flashで評価した,対称的なプロンプト推論スクリーニング,ペアリングおよびレポジトリ認識の不確実性解析,スコアラ検証を行った。 対称スクリーニングとペア積分排除後に維持された100対のうち、GPT-4.1は+10.0$-pointのペア重み付きTop-3ベンチマーク関連ギャップを示したが、規定されたペアブートストラップ手順とポストホックリポジトリバランス解析の両方から95%の間隔はゼロであり、ベンチマーク関連ギャップは決定的ではなかった。 再現スコアラは評価ゲートを通過せず, 一致ラベルに対して, 両モデルに十分なスコアラ感度が確立できず, 正金比較におけるDeepSeek-V4-Flashの発射は偽陽性であった。 証拠証拠、適切な制御、対称な漏洩スクリーニング、検証されたスコアラーがなければ、強い汚染の主張は保証されない。 結果は、トレーニングデータメンバーシップ、汚染率、ベンチマークによるスコアインフレーションを確立しない。

関連論文リスト

• The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
  本研究は, ベットによる検査に基づく漏洩検出について検討する。 13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
  論文  参考訳（メタデータ） (2026-09-27T14:14:10Z)
• TWIST: A Proposed Benchmark for Intervention Quality in Conversational Memory, with a Human-Validated Draft-Alignment [0.0]
  TWISTは、補完的かつ未測定なプロパティ、介入品質のためのベンチマークスイートである。 4つのトラックは、未解決の緊張検知をカバーし、現在の信念に応えて、記録に反するドラフトを検証している。 システムTWISTプロファイルはリコールスコアの他に、メモリがいつ介入すべきかを計測する。
  論文  参考訳（メタデータ） (2026-09-23T12:25:28Z)
• Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
  軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。 このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。 パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
  論文  参考訳（メタデータ） (2026-09-22T03:57:30Z)
• A Closed-Form Estimator and Diagnostic Battery for Anchor-Judge Error Correlation, Under a Single-Common-Factor Model [0.0]
  外部参照セットを使用して、LCM-judgeパネルのエラーを品質信号と共有共通モードエラーに分解する。 我々は、その仮定がいつ降ろされ、見積もりに置き換えられるかを研究する。 クリーンアンカー推定器は、汚染されたコンパニオンアンカーが、信頼されたアンカー自体が汚染されると完全にクリーンであると報告する。
  論文  参考訳（メタデータ） (2026-09-08T14:49:13Z)
• The Evaluator Is Part of the Experiment: Measuring Open-Ended LLM Conformity [1.3583317564926913]
  回答の品質は、不完全で、遅れており、判断されるため、オープンエンドの修正は異なる測定戦略を必要とする。 我々は、プール化された主条件コーパスに実装された実験的なプロトコルを導入し、分解コーパスを別々に構築する。 4つのオープン・ウェイト・ジェネレータと3つのベンチマークで、全首ピア入力はジェネレータ・データセット・セルで最低品質のリビジョンを生成する。
  論文  参考訳（メタデータ） (2026-08-05T05:38:34Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。