論文の概要: Zero Gap Is Not Restoration: Stratified Per-Question Probability Evaluation and Step-wise Mitigation of Benchmark Contamination
- arxiv url: http://arxiv.org/abs/2608.07341v1
- Date: Fri, 07 Aug 2026 15:37:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.542059
- Title: Zero Gap Is Not Restoration: Stratified Per-Question Probability Evaluation and Step-wise Mitigation of Benchmark Contamination
- Title（参考訳）: ゼロギャップは回復しない - クエリごとの確率評価とベンチマーク汚染のステップワイズ軽減
- Abstract要約: textbfSA-AP (textbfStratified textbfAggregate of textbfPer-question textbfProbability textbfGaps) を提案する。
- 参考スコア（独自算出の注目度）: 8.221134173409895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test data from public benchmarks inevitably leaks into pretraining corpora, inflating evaluation scores once memorized. \textbf{Contamination mitigation evaluation} intervenes in the decoding process to suppress memorization and restore a contaminated model's genuine capability, but its prevailing metric, the \textbf{G-AP} (\textbf{G}ap of \textbf{A}ggregate \textbf{P}erformance), is flawed. Discrete correct/incorrect readouts cannot characterize per-question performance, averaging before differencing lets over- and under-suppression cancel out, and uniform per-question weighting invites strategies to push solve probabilities onto the clean model's high-frequency values. We propose \textbf{SA-PPG} (\textbf{S}tratified \textbf{A}ggregate of \textbf{P}er-question \textbf{P}robability \textbf{G}aps): estimate each question's solve probability by sampling, difference it against the clean model per question, and aggregate within groups defined by the clean model's solve probability. Existing mitigation strategies first estimate where contamination lies and then operate on the estimate, so they are only as correct as the estimate. \textbf{RailCap} instead judges contamination during generation: whenever a sample falls back onto the greedy trajectory, the next trajectory token is capped to the runner-up, accumulating suppression until the response distribution becomes sufficiently dispersed. Across multiple contaminated models and benchmarks, SA-PPG reveals that prior strategies' restoration is substantially overestimated, while RailCap attains the lowest SA-PPG.
- Abstract（参考訳）: 公開ベンチマークによるテストデータは、必然的に事前学習コーパスにリークし、暗記された評価スコアを膨らませる。
\textbf{Contamination mitigation Evaluation} は、復号処理に介入して、暗記を抑え、汚染されたモデルの真の能力を回復するが、その代表的な計量である \textbf{G-AP} (\textbf{A}ggregate \textbf{P}erformance) は欠陥がある。
離散的正誤読み出しは、クェリ毎のパフォーマンスを特徴づけることができない、差分前の平均化はオーバープレッションとアンダープレッションのキャンセルを許容し、クェリ毎の重み付けは、クリーンモデルの高周波値に確率をプッシュする戦略を招待する。
本稿では、各質問の解確率をサンプリングにより推定し、質問毎にクリーンモデルと差分し、クリーンモデルの解確率で定義されたグループ内で集約する。
既存の緩和戦略は、まず汚染がどこにあるかを推定し、それから見積もりで操作する。
サンプルがグリーディ軌道に戻ってくると、次のトラジェクトリトークンがランナーアップにキャップされ、応答分布が十分に分散するまで抑制が蓄積される。
複数の汚染されたモデルとベンチマークの中で、SA-PPGは以前の戦略の復元が大幅に過大評価されているのに対して、RailCapは最も低いSA-PPGを達成した。
関連論文リスト
- Uncertainty-based Debiasing and Unlearning for Decontamination [12.593872705071114]
不確実性に基づく除染(UBD)は、汚染されたモデルやサンプルが汚染された知識を必要とせず、サンプルごとの記憶を推定する。
UBDは、パラフレーズや選択置換ベースラインよりも、汚染されていないモデルの出力分布にかなり近いサンプル単位の出力分布を生成する。
論文 参考訳（メタデータ） (2026-06-22T13:26:29Z) - Quotient DAGs for Off-Policy Evaluation:Forward-Flow Importance Sampling and Exact Slate Propensities [4.751925814658969]
オフ政治評価は、異なる行動ポリシーによって収集されたデータを使用して、ターゲットポリシーがどのように実行されるかを推定する。
標準重要サンプリングは、ログされた軌跡ごとに重み付けを行うが、評価対象が無視した場合でも、生成プロセスの詳細を意味のあるものとして扱うことができる。
本稿では,評価に等価な履歴をマージし,目標-行動-前-フロー比を用いて重みを割り当てる商DAGビューを提案する。
論文 参考訳（メタデータ） (2026-05-28T07:23:40Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳（メタデータ） (2026-04-11T10:47:22Z) - Robust Regression with Adaptive Contamination in Response: Optimal Rates and Computational Barriers [65.58071581164043]
本研究では, 共変剤を清潔にし, 応答を適応的に劣化させる汚染モデルの下で, 頑健な回帰について検討する。
本研究では,ハマー汚染下で達成可能なものよりも優れた推定率を持つ推定器を構築するために,追加情報を慎重に活用できることを示す。
情報理論の観点からは、ハマーモデルよりも改善されているにもかかわらず、この問題が強い情報計算ギャップを示すという公式な証拠を提供する。
論文 参考訳（メタデータ） (2026-04-05T19:07:24Z) - Fair regression under localized demographic parity constraints [9.082079838093371]
F f |S=s (z m ) = $ell$m という形の CDF 制約をグループ的に課する,新規な (ell$, Z)-fair predictor を導入する。
合成データセットと実データセットの実験では、解釈可能なフェアネス精度のトレードオフが示され、決定関連量子またはしきい値に対するターゲット修正が可能である。
論文 参考訳（メタデータ） (2026-03-26T09:21:05Z) - Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
制約を克服するオイラー法に対する全変分に基づく解析法を開発した。
その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。
全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
論文 参考訳（メタデータ） (2026-02-26T00:47:51Z) - Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。
本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。
提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
論文 参考訳（メタデータ） (2025-09-16T17:16:01Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Selective Regression Under Fairness Criteria [30.672082160544996]
少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。
満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
論文 参考訳（メタデータ） (2021-10-28T19:05:12Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳（メタデータ） (2020-08-07T08:22:26Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。