論文の概要: Contamination Inflates Scores but Rarely Reorders Large Language Model Leaderboards

• arxiv url: http://arxiv.org/abs/2609.02899v1
• Date: Sun, 05 Jul 2026 00:55:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.452189
• Title: Contamination Inflates Scores but Rarely Reorders Large Language Model Leaderboards
• Title（参考訳）: 汚染はスコアを膨らませるが、大規模言語モデルのリーダーボードを頻繁にリオーダーする
• Abstract要約: ベンチマーク汚染は、大規模言語モデルリーダーボードの信頼性に対する脅威である。 我々は,原文と意味論的に等価な言い換え項目の差分関数によって汚染を測定する。 汚染はリーダーボードを並べ替えることなく絶対スコアを膨らませる。 リーダーボードは、信頼区間とともに、パラフレーズ制御されたランキングを報告することを推奨する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benchmark contamination, the leakage of test items into training data, is widely described as a threat to the reliability of large language model (LLM) leaderboards. We argue that this concern conflates two distinct questions: whether contamination inflates absolute scores, and whether it reorders the ranking of models. We recast contamination as a violation of anchor-item invariance and measure it through the differential functioning of original versus semantically equivalent paraphrased items, a within-item contrast that holds the measured skill fixed and isolates memorization from capability. Using per-instance responses from 47 publicly released models and 74 models finetuned with a known dose of contamination, across four benchmarks (ARC, GSM8K, HellaSwag, MMLU), we first calibrate the measure against ground truth: it recovers injected contamination dose-responsively (a corrected effect of +0.187 accuracy points for test-set leakage) and never flags a negative-control model trained only on the legitimate training split (-0.012). We then quantify leaderboard impact: the rank correlation between a standard leaderboard and a paraphrase-controlled leaderboard is 0.997, and a sensitivity analysis shows that the observed differential contamination is far below the level needed to move rankings, with only 3 of 188 model-by-benchmark cases showing differential contamination corroborated across two references. Contamination among these public models is therefore largely uniform: it inflates absolute scores without reordering the leaderboard, and ranking distortion requires the rare case of differential contamination. We provide a calibrated invariance audit, released as a reference implementation, and recommend that leaderboards report paraphrase-controlled rankings alongside confidence intervals.
• Abstract（参考訳）: ベンチマーク汚染は、大規模言語モデル(LLM)リーダーボードの信頼性に対する脅威として広く説明されている。 この懸念は、汚染が絶対スコアを膨らませるかどうか、モデルランキングを再注文するかどうかという、2つの異なる疑問を混同している、と我々は主張する。 我々は, 汚染をアンカー・イムの不変性違反として再キャストし, 原文と意味論的に等価な言い換え項目の差分関数を用いて測定する。 4つのベンチマーク(ARC, GSM8K, HellaSwag, MMLU)で、既知の汚染量で微調整された47のモデルと74のモデルからのインスタンスごとの応答を用いて、まず、汚染量に対する測定を正当性トレーニングスプリット(-0.012)にのみトレーニングされた負の制御モデルにフラグを付けることなく、インジェクトされた汚染量に対する応答を回復する(テストセットリークの+0.187精度ポイントの補正効果)。 次に, 標準のリーダボードとパラフレーズ制御のリーダボードのランク相関は0.997であり, 感度解析により, 観測されたディファレンシャル汚染は, ランキングの移動に必要なレベルよりもはるかに低いことがわかった。 したがって、これらの公開モデル間の汚染は、リーダーボードを並べ替えることなく絶対スコアを膨らませ、ランクの歪みは、希少な差分汚染のケースを必要とする。 基準実装としてリリースされた校正不変性監査を行い,信頼区間とともに,リーダボードにパラフレーズ制御されたランキングを報告することを推奨する。

関連論文リスト

• Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
  軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。 このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。 パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
  論文  参考訳（メタデータ） (2026-09-22T03:57:30Z)
• The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
  決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。 本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。 検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
  論文  参考訳（メタデータ） (2026-09-14T17:13:05Z)
• Selective Prediction and Uncertainty-Aware Referral for Pap Smear Classification [3.093890460224435]
  本稿では,Herlev Papスミアデータセットの選択的予測と不確実性を考慮した参照について検討する。 ImageNet-pretrained weights with weighted random samples, and two light transformer backbones are fine-tuned on Herlev from ImageNet-pretrained weights with weighted random sample。 統計的に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2026-07-15T05:47:31Z)
• PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
  PerceptionRubricsはルーブリックベースの評価フレームワークである。 飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。 1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
  論文  参考訳（メタデータ） (2026-06-26T17:59:15Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
  共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。 実際には、これは相関した推論パターンと同期された障害として現れます。 ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
  論文  参考訳（メタデータ） (2026-04-08T23:32:06Z)
• Silicon Bureaucracy and AI Test-Oriented Education: Contamination Sensitivity and Score Confidence in LLM Benchmarks [43.45152572188735]
  本稿では,言語モデルにおける汚染感度とスコア信頼度を解析するための監査フレームワークを提案する。 ノイズ条件下では, 広範に不均一なベースラインゲインが得られる。 これらの結果は、類似のベンチマークスコアが、かなり異なる信頼レベルを持つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2026-03-23T07:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。