論文の概要: Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection

• arxiv url: http://arxiv.org/abs/2608.12652v2
• Date: Sun, 16 Aug 2026 22:46:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 13:30:43.587138
• Title: Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection
• Title（参考訳）: 余剰分離性:ベンチマーク汚染検出のためのNuisance-Controlled Residual-Stream Probing
• Abstract要約: ベンチマーク汚染はn-gram重なり、可能性に基づくメンバーシップ推論、カナリア文字列と診断される。 これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmark contamination is diagnosed with n-gram overlap, likelihood-based membership inference, or canary strings, and each needs something usually unavailable: the training corpus, a well-chosen test statistic, or foresight at release. A recent alternative reads it off a linear probe on internal activations. We show the natural way to do this does not work, specify one that survives measurement, then find that the correction making it work carries more variance than the null it is tested against. The protocol reports a zero-sum contrast on the depth profile of probe accuracy, recentred on a level-matched placebo baseline, tested against a label-permutation null, with the reference set twice the size of the suspect set. Each choice replaces a simpler alternative we rejected on measurement. Reporting the level of excess separability rather than its shape makes the false positive rate track the size of the analyst's own control set, 0.03 to 0.99 under a true null. Contrasting against a flat depth profile rejects a true null 0.72 of the time when surface decodability rises with depth, and loses all power when it falls. On real transformers the protocol fails a test the simulations did not pose. The recentring subtracts an estimate, and the permutation null holds it fixed. Re-estimated across split seeds on four audits of contaminated checkpoints, its standard deviation is 1.30 to 1.56 times the null's own in every arm: what is subtracted to remove a bias is more variable than what it corrects. The one nominally significant result, p = 0.0075, becomes 0.0745 once that variance is propagated, and no verdict is issued. The simulations missed this because their surface key is the covariate driving item variation; on real text it is a proxy, and degrading key quality in simulation reproduces it. We add a companion measurement and a widened null. No arm shows contamination.
• Abstract（参考訳）: ベンチマーク汚染はn-gramの重複、可能性に基づくメンバーシップ推論、カナリア文字列と診断され、それぞれが通常利用できないものを必要としている。 最近の代替案では、内部の活性化に関する線形プローブが読み上げられている。 これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。 このプロトコルは、プローブ精度の深さプロファイルに対してゼロサムコントラストを報告し、最近はレベルマッチングされたプラセボベースラインでテストされ、ラベル置換ヌルに対してテストされ、参照セットは被疑者集合の2倍の大きさである。 それぞれの選択肢は、測定で拒否したより単純な選択肢に取って代わります。 形状よりも余分な分離性のレベルを報告することで、偽陽性率はアナリスト自身のコントロールセットのサイズを、真のnullの下で0.03から0.99に追跡する。 平坦な深さプロファイルとは対照的に、表面の陰極性が深さとともに上昇する真のヌル0.72を拒絶し、落下するとすべての電力を失う。 実際のトランスでは、プロトコルはテストに失敗し、シミュレーションは起こらなかった。 最近の例では見積もりを減算し、置換 null はそれを固定する。 汚染されたチェックポイントの4つの監査で分割された種子間で再推定され、標準偏差は各腕のヌルの1.30から1.56倍である。 名目上重要な結果である p = 0.0075 は、分散が伝播すると 0.0745 となり、判定は発行されない。 実際のテキストでは、それはプロキシであり、シミュレーションにおけるキー品質の劣化はそれを再現する。 コンパニオン測定と拡張nullを追加します。 腕に汚染はない。

関連論文リスト

• When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification [0.0]
  クラス不均衡処理は、単一のベンチマークデータセットで定期的に評価される。 リークフリーなネスト型クロスバリデーションプロトコルの下では、デフォルト0.5しきい値のプレーンランダムフォレストがF1 = 0.861 +/-0.021に達する。 閾値調整の利点は、不均衡比において非単調である。
  論文  参考訳（メタデータ） (2026-08-17T05:58:33Z)
• Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
  我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。 グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
  論文  参考訳（メタデータ） (2026-08-06T15:38:55Z)
• Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
  ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。 粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。 ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
  論文  参考訳（メタデータ） (2026-08-04T23:48:36Z)
• How fine a change can moments see? A scale law for detecting distribution shift, with a kernel calibration rule [0.0]
  法則の帯域幅が支配するカーネルテストを示す。 我々は、トポロジ的な要約は役に立たないと結論づけるのではなく、このタスクでは、法則が支配するカーネルテストを行う。
  論文  参考訳（メタデータ） (2026-08-02T14:21:58Z)
• Adversarial Test-Hardening for AI-Written Code: An Instrument Autopsy and a Pre-Registered Causal Estimate of the Critic Loop [0.0]
  メカニカルオラクル下での対向試験硬化ループについて検討した。 テスタモデルはテストを書き、変異テスト名は生き残った欠陥を注入し、Cryticモデルはテストを書き、それらを正確に実行します。 私たちは、すべてのレシートと分析コードの両方のプロトコルをリリースします。
  論文  参考訳（メタデータ） (2026-07-25T02:38:07Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Fixed-Protocol Amortized MPS Tomography with Conformalized Predictive Uncertainty [31.082191748525137]
  量子状態トモグラフィーはサンプリング・スターベットされ、その状態は狭く学習可能な多様体上で生きていく。 事前の見積もりは、既にほぼ最適であり、ほとんどの測定値において高い忠実度」は、断層撮影よりも家族の記憶である可能性がある。 そこで本稿では,ゲージ不変の忠実度損失を一度トレーニングしたemph-protocolアモータライズMPS推定器を提案する。
  論文  参考訳（メタデータ） (2026-07-13T08:57:23Z)
• When Agents Commit Too Soon: Diagnosing Premature Commitment in LLM Agents [0.0]
  長い答えのLSMエージェントは静かに失敗する可能性があり、彼らは証拠を早期に読み上げ、残りの期間をその証拠を守るのに費やした。 我々は、表現的コミットメントを、固定された推論ステップにおいて、クロスランな隠れ状態収束として定義する。 ランタイムモニタは、AUROCの隠れ状態から0.97までの不整合軌道を検出する(より厳密なスプリットの下で0.85-0.88)。
  論文  参考訳（メタデータ） (2026-06-22T07:13:13Z)
• Anticipating the Optimism Gap: Predicting Distribution-Shift Degradation of RF-Impairment Detectors from In-Distribution Statistics [0.0]
  電波障害の検知器は、通常、調整された分布で測定された単一のAUCで報告される。 アウト・オブ・ディストリビューション・データを見る前に、この楽観主義が予測できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-06-20T14:10:59Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Code Correctness Signals in LLM Hidden States: Pre-Generation Probing and Repair Geometry [0.0]
  モデルのファーストアタプティブコードの正しさは、プロンプト-ファイナル隠れ状態から線形にデオード可能である。 モデルが失敗した最初の試みを修復しようとするケース236では、失敗した試みからその修復への隠れ状態シフトが統計的に検出可能なコントラスト方向をもたらす。
  論文  参考訳（メタデータ） (2026-06-12T15:06:15Z)
• Pressure-Testing Deception Probes in LLMs: Scaling, Robustness, and the Geometry of Deceptive Representations [5.218766876318545]
  LLMのアクティベーションをトレーニングした線形プローブは、騙し検出指標としてますます提案されているが、AUROCは分布シフトの下で崩壊しながらクリーンなベンチマークで0.96を超えることを報告している。 本稿では, Gemma 3 モデルファミリ(1B-27B パラメータ)における圧力-プローブ-ベースの測定値について, 系統的に検討する。 1) 単線方向, (2) 多次元部分空間, (3) 凸円錐殻, (4) エントロピープロキシの4つの仮説を検証した。
  論文  参考訳（メタデータ） (2026-05-27T04:51:55Z)
• Mind the Sim-to-Real Gap & Think Like a Scientist [44.54570296032634]
  我々は,シミュレータを実験で補うべき時期と方法について検討する。 我々はシミュレーション支援実験政策であるFisher-SEPを提案する。
  論文  参考訳（メタデータ） (2026-05-20T17:48:14Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Discovering Causal Relationships using Proxy Variables under Unmeasured Confounding [42.70985072862832]
  観測研究における変数ペア間の因果関係の推測は極めて重要であるが,困難である。 我々は,不測の共同設立者の下で因果仮説をテストするために,離散的かつ連続的な設定を両立する一般的な非パラメトリックアプローチを開発する。 Intensive Care Data and World Values Surveyの広範囲なシミュレーションと実世界データによるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-10-20T05:13:12Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Locally minimax optimal confidence sets for the best model [40.60301522036206]
  この論文は基本的な推論問題に取り組む:$P$ over $mathbbRd$ が未知の平均$boldsymbolmu$ である場合、$boldsymbolmu$ の最小成分に対応する指数に対する信頼セットを形成する必要がある。 我々は$d$が$n$でスケールするか、および$boldsymbolmu$の任意の関係によらず、妥当性を維持する「次元に依存しない」テストを提案する。
  論文  参考訳（メタデータ） (2025-03-27T16:06:07Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Mean-Shifted Contrastive Loss for Anomaly Detection [34.97652735163338]
  そこで本研究では,集中損失法とコントラスト損失法の両方の障害モードを克服できる新たな損失関数を提案する。 私たちの改善は、$textitMean-Shifted Contrastive Loss$に基づいて、新しい異常検出アプローチをもたらします。 提案手法は,ROC-AUC$9.5%を含む複数のベンチマークにおいて,最先端の異常検出性能を実現する。
  論文  参考訳（メタデータ） (2021-06-07T17:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。