論文の概要: When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits

• arxiv url: http://arxiv.org/abs/2608.07914v1
• Date: Sat, 08 Aug 2026 04:41:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.559214
• Title: When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits
• Title（参考訳）: ベンチマーク汚染はいつ検出可能か? : 情報限界とパワーキャリブレーション監査
• Abstract要約: 行動汚染検知器は、ベンチマークがクリーンであるか、監査がほとんどパワーを持っていないため、"証拠がない"ことができる。 我々はこの区別を、トレーニング中に未知のアイテムの分数アルファが見られたベンチマークとして定式化した。 R2 = 0.83-0.98 を6つの正確な置換チャネルで予測する。 事前宣言された2段階のプランナーは、配備された試験をシミュレートし、予算を修復し、一様に保守的であり、プローブが輸送されないときに停止する。
• 参考スコア（独自算出の注目度）: 6.908972852063454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Behavioral contamination detectors can return "no evidence" either because a benchmark is clean or because the audit has little power. We formalize this distinction for a benchmark in which an unknown fraction alpha of items was seen during training. With matched clean and seen controls, the behavioral channel is the sparse mixture Q_alpha = (1 - alpha) P_0 + alpha P_1, and an exact second-moment argument shows that detectability is governed by alpha * rho * sqrt(m), where rho^2 = chi^2(P_1 || P_0) measures behavioral separability. Any scalar detector reduces to its efficacy, ef = |E_1 f - E_0 f| / sqrt(Var_0(f)) <= rho, which can be estimated from controls before the audit is run. A separate sample-split certificate lower-bounds alpha distribution-free, without requiring an orientation assumption. Our empirical finding is two-sided. Frozen calibration efficacy predicts held-out power curves, with R^2 = 0.83-0.98 across six exact-permutation channels, but the efficacy-only Gaussian budget is miscalibrated at the small sample sizes it prescribes, failing in 9/9 gate-passing channels even though efficacy itself transports. The failure is in the inversion, not the calibration. A predeclared two-stage planner that simulates the deployed test repairs the budgets, is uniformly conservative, and abstains when its probe does not transport. The certificate is valid but vacuous at audit scale, and a five-seed paired injection study recovers the mechanism ordering verbatim > paraphrase > surface, in which the apparent answer-only signal is explained by baseline drift. We report the audit contract and its failures together: a non-rejection is interpretable only alongside the efficacy, budget, and validity gates that produced it.
• Abstract（参考訳）: 行動汚染検知器は、ベンチマークがクリーンであるか、監査がほとんどパワーを持っていないため、"証拠がない"ことができる。 我々はこの区別を、トレーニング中に未知のアイテムの分数アルファが見られたベンチマークとして定式化した。 一致したクリーンかつ可視の制御では、行動チャネルは、Q_alpha = (1 - α) P_0 + α P_1 のスパース混合であり、正確な第2モーメントの引数は、検出性は α * rho * sqrt(m) によって制御され、rho^2 = chi^2(P_1 || P_0) は行動分離性を測定する。 EF = |E_1 f - E_0 f| / sqrt(Var_0(f)) <= rho は監査が実行される前に制御から推定できる。 別個のサンプルスプリット証明書は、配向仮定を必要とせず、α分布自由度を低くする。 私たちの経験的発見は二面的です。 R^2 = 0.83-0.98は6つの正確な置換チャネルにまたがる保留電力曲線を予測するが、有効性のみのガウス予算は、有効性自体が輸送しても9/9ゲート通過チャネルで失敗する。 失敗は逆転であり、校正ではない。 事前宣言された2段階のプランナーは、配備された試験をシミュレートし、予算を修復し、一様に保守的であり、プローブが輸送されないときに停止する。 検証は有効だが, 講座規模では無効であり, 5種ペアインジェクション試験では, 基準線ドリフトによって解答のみの信号が説明されるような, 動詞 > パラフレーズ > 表面を順序付けるメカニズムを復元する。 我々は、監査契約とその失敗をまとめて報告する:非拒否は、それを作った有効性、予算、妥当性のゲートと並行して解釈される。

関連論文リスト

• Certifying bipartite entanglement on a superconducting processor from a corrected QAOA cost layer [0.0]
  バルセロナ・スーパーコンピュテーション・センターの9ビット超伝導プロセッサ、レッドについて, 事前登録した単一デバイスについて報告する。 補正されたQAOAコスト層を2量子トモグラフィ陰性度で深度1で保証する。 我々は装置物理を直接測定し、固定されたベル準備の事前登録操作において、CZパルス振幅を減少させ、認証された負性度を因果的に減少させる。
  論文  参考訳（メタデータ） (2026-09-08T22:23:35Z)
• Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection [0.0]
  ベンチマーク汚染はn-gram重なり、可能性に基づくメンバーシップ推論、カナリア文字列と診断される。 これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。
  論文  参考訳（メタデータ） (2026-08-12T23:27:20Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• A Reference-Free Score for Detecting Silent Reasoning Failures in Large Language Models [1.0602247913671219]
  Reasoning Answer Faithfulness Score (RAFS) は、出力された数学的トレースが局所的に信頼できるかどうかの基準自由なインスタンスレベルの診断である。 RAFSは、ステップの妥当性、解答の推論と反ファクトの感度、解答のコンセンサス、条件付き推論安定性を組み合わせている。 RAFSは、数学的な解答精度を、サイレント推論の失敗と解答の誤りに対する監査可能な警告信号で補完することを目的としている。
  論文  参考訳（メタデータ） (2026-07-28T07:28:38Z)
• Zero-Flow Two-Sample Tests [47.04254380987003]
  そこで本研究では,2組のサンプルが同一分布から抽出されるか否かを判定するための2サンプル試験手法を提案する。 この試験はゼロフロー整合性(ゼロフロー整合性)(ZFD)というゼロフロー整合性(ゼロフロー整合性)に基づく統計的整合性の上に構築される。 我々はZFDの有効性を証明し、ゼロフロー2サンプルテスト(ZF2ST)と呼ばれる実用的な試験手順を提案する。
  論文  参考訳（メタデータ） (2026-07-23T17:27:23Z)
• Self-Poisoning in Adaptive Out-of-Distribution Detection: A Sharp-Threshold Theory and Certified Label-Free Calibration [0.0]
  テストタイム適応型アウト・オブ・ディストリビューション検出器は、未競合ストリームからメモリバンクを更新する。 この適応は証明可能な力学則に従うことを示す。 ドリフト条件下での相補的な静的校正不全に対して、CDCは、テストされたドリフト影響細胞全てにおいて、名目上のFPRラベルのない状態を回復する。
  論文  参考訳（メタデータ） (2026-07-23T09:43:46Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
  我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
  論文  参考訳（メタデータ） (2026-06-15T16:25:07Z)
• Finite Resources False Discovery Rate Control in Structured Hypothesis Spaces [47.16593717985932]
  各仮説が有限個のヌル引き数で証明された場合にのみ、偽発見率を制御するための枠組みを提案する。 構造的ミス特定に頑健な2つの決定ルールを提示するが、正確なFDR制御と統計的パワーの間には明確なトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-06-13T16:56:52Z)
• Conformal calibration and look-elsewhere effect in anomaly detection for new-physics searches [0.0]
  機械学習による異常検出は、新しい物理学の探索を再構築している。 本稿では,共形予測に基づく校正層を提案する。
  論文  参考訳（メタデータ） (2026-06-11T18:00:02Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Detecting Unobserved Confounders: A Kernelized Regression Approach [46.52607207396279]
  Kernel Regression Confounder Detection (KRCD) は、単一環境下での非線形観測データにおける観測不能なコンバウンディングを検出する新しい方法である。 ゼロからの有意な偏差が観測不能な共起を示すテスト統計学。 合成ベンチマークとツインズデータセットの実験は、KRCDが既存のベースラインを上回るだけでなく、計算効率も優れていることを示した。
  論文  参考訳（メタデータ） (2026-01-01T04:26:02Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。