論文の概要: Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation

• arxiv url: http://arxiv.org/abs/2608.29463v1
• Date: Sat, 29 Aug 2026 23:04:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.975231
• Title: Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation
• Title（参考訳）: ベンチマーク汚染:決定的緩和によって組織された分類学
• Abstract要約: ベンチマークスコアは、モデルのジョイント特性、評価ハーネス、エレケーション予算、サンプル集団、汚染状態である。 我々は,各タイプの敗北の緩和によって組織された分類を紹介した。 2つの変数は、予め登録された有病率-ロバスト閾値を下回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A benchmark score is a joint property of the model, the evaluation harness, the elicitation budget, the sampled population, and contamination status. Leaderboards publish the model and the score, so capability and leakage stay observationally equivalent. Existing taxonomies classify contamination for automated detection, not the question a reporter faces at publication: given the mitigations already applied, which validity threats remain open? We introduce a taxonomy organized by the mitigation each type defeats -- direct, derivative, temporal, distributional, and acquired -- spanning training-time and evaluation-time leakage. Holding out a private test set closes the first alone. The fifth is acquired during the evaluation itself; because it is a property of one run, it must be recorded with the reported score rather than with the benchmark release. We operationalize it as a four-field disclosure protocol in which "unknown" is a valid entry, released under CC BY 4.0 with a JSON Schema, a validator, and worked examples. Two coders external to the design team applied a pre-registered instrument to 41 documents. Per-variable linear-weighted $κ$ runs from 0.00 to 0.35 (median 0.21) over 29 main-pass documents against a single-coder test-retest ceiling of 0.84, collapsing under the class skew the registration anticipated; pooling raises it to 0.46 through chance correction rather than better agreement. Two variables fall below the prevalence-robust threshold registered in advance: strata reporting and the acquired type introduced here. Disagreement concentrates on when a variable applies rather than on what a document states. Elicitation budgets are reported in 13% of documents, and no document addresses all five types. The contribution is the taxonomy, the score-side artifact that follows from it, and a pre-registered measurement of instrument reliability and current disclosure.
• Abstract（参考訳）: ベンチマークスコアは、モデルのジョイント特性、評価ハーネス、エレケーション予算、サンプル集団、汚染状態である。 リーダーボードはモデルとスコアを公開するので、能力とリークは観察的に同等です。 既存の分類学では、自動検出のための汚染を分類しているが、これは記者が出版時に直面する問題ではない。 トレーニング時間と評価時間の漏洩を対象とする,各タイプの敗北 - 直接的,微分的,時間的,分布的,獲得的 - を緩和した分類法を導入する。 プライベートテストセットの保持は、最初の1つを閉じます。 5番目は評価期間中に取得される。これは1回の実行のプロパティであるため、ベンチマークリリースではなく、報告されたスコアで記録する必要がある。 我々は、"未知"が有効なエントリである4フィールド公開プロトコルとして運用し、CC BY 4.0でリリースされ、JSONスキーマ、バリデータ、作業例を公開しています。 設計チーム外部の2つのコーダーが41の文書に事前登録された楽器を適用した。 1変数の線形重み付き$κ$は、29のメインパス文書に対して0.00から0.35(中間0.21)まで実行され、シングルコーダのテスト-再テストの天井は0.84となり、クラスが予想されるように崩壊する。 2つの変数は、事前に登録された有病率-ロバスト閾値を下回る:成層報告とここで導入された取得型。 相違は、変数がどの状態に適用されるかではなく、いつ適用されるかに焦点をあてる。 引用予算は13%の文書で報告されており、5種類の文書には言及していない。 貢献は分類学、それに続くスコアサイドのアーティファクト、および機器の信頼性と現在の開示の事前登録された測定である。

関連論文リスト

• Admission Without Answers: Label-Free Certification and Experience Learning for LLM-Based Optimization Modeling [8.467936416935986]
  Admitorは、校正された外部行動証拠に基づいて構築された入場ゲートである。 これは、明確に校正された偽発見ターゲットを中心に設計された最初のラベルなし入場機構である。
  論文  参考訳（メタデータ） (2026-08-16T06:18:54Z)
• Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
  正しいパッチの発見と保持、検証、提出のギャップについて検討する。 我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-27T16:05:23Z)
• The C-index illusion: discrimination without calibration in published survival models [0.0]
  我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。 ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
  論文  参考訳（メタデータ） (2026-07-21T19:13:54Z)
• Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
  AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。 コードには手書きのコードはなく、人間による注釈もない。 エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
  論文  参考訳（メタデータ） (2026-07-17T17:41:16Z)
• Evaluation Cards: An Interpretive Layer for AI Evaluation Reporting [44.70980205167796]
  AI評価結果は大規模に作成されるが、リーダーボード、モデルカード、ベンチマーク論文、会社のブログ間で矛盾なく報告されている。 最近の取り組みでは、分離されたコンポーネントに対処するが、3つのギャップを残している: それらは評価ライフサイクルの狭いスライスのみをカバーし、単一の解釈可能なレコードに構成しない。 EvalCardsは、ベンチマークメタデータ、評価実行データ、モデルメタデータを統一されたレコードに構成する運用レポート層である。
  論文  参考訳（メタデータ） (2026-06-08T17:55:02Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks [41.99844472131922]
  基礎モデル弱いラベルに対するベンチマークキャリブレーションを提供する。 理論によって予測される交差は、PCAMではng100、ISICでは20-50、NIH-CXRでは250-500である。 NIH-CXR上の構造付きvs-ランダムノイズ符号フリップは、境界のレートのみの定式化が不完全であることを示す。
  論文  参考訳（メタデータ） (2026-05-23T23:15:07Z)
• What Twelve LLM Agent Benchmark Papers Disclose About Themselves: A Pilot Audit and an Open Scoring Schema [0.0]
  筆者らは、よく知られた12のLSMエージェントベンチマーク論文を読み、各論文が実際にどのように評価されたか、寸法によって記録した。 私たちは、小さな監査スキーマを設計しました(5つのフィールド:ベンチマークアイデンティティ、ハーネス仕様、推論設定、コストレポート、障害の分解)。 我々はエージェントランの開示を正当性ではなくスコア付けし、開示が信頼できる結果を意味するという主張をしない。
  論文  参考訳（メタデータ） (2026-05-20T17:02:36Z)
• When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels [34.86529553336423]
  多くのデプロイメントは、関連する言語、セクター、または規制体制のためにラベル付きベンチマークが存在する前に、安全のために候補言語モデルを比較する必要がある。 我々は、この設定をベンチマークレス比較安全スコアとして定式化し、シナリオベースの監査をデプロイ証拠として解釈できる契約を指定する。 スコアは固定されたシナリオパック、ルーリック、監査、審査、サンプリング設定、再実行予算でのみ有効である。
  論文  参考訳（メタデータ） (2026-05-07T17:56:41Z)
• DWBench: Holistic Evaluation of Watermark for Dataset Copyright Auditing [43.881484429055654]
  データセット透かし技術は、監査と使用の検証を約束する。 我々はDWBenchを開発した。DWBenchは、画像データセットのウォーターマーク手法を体系的に評価するための統一ベンチマークおよびオープンソースツールキットである。 そこで本研究では,詳細な透かし識別のためのサンプルの意義と,データセットレベルの監査における検証成功率の2つの新しい指標について述べる。
  論文  参考訳（メタデータ） (2026-02-14T01:09:19Z)
• SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
  SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。 ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。 安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
  論文  参考訳（メタデータ） (2026-01-19T23:37:10Z)
• CertDW: Towards Certified Dataset Ownership Verification via Conformal Prediction [48.82467166657901]
  本稿では,最初の認証データセット透かし(CertDW)とCertDWベースの認証データセットオーナシップ検証手法を提案する。 共形予測に触発されて,主確率 (PP) と透かし頑健性 (WR) の2つの統計指標を導入する。 我々は、不審モデルのWR値が、透かしのないデータセットでトレーニングされた良性モデルのPP値を大幅に上回る場合に、PPとWRの間に証明可能な低い境界が存在することを証明した。
  論文  参考訳（メタデータ） (2025-06-16T07:17:23Z)
• Arbitrariness and Social Prediction: The Confounding Role of Variance in Fair Classification [31.392067805022414]
  異なる訓練されたモデル間での予測のばらつきは、公正なバイナリ分類における重要な、未探索のエラーの原因である。 実際には、いくつかのデータ例のばらつきは非常に大きいので、決定を効果的に任意にすることができる。 予測が任意である場合に分類を省略するアンサンブルアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:52:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。