論文の概要: Cosine Similarity Is Not Evidence: Measuring the Noise Floor of Interpretability Transfer Under Quantization

• arxiv url: http://arxiv.org/abs/2609.30275v1
• Date: Wed, 12 Aug 2026 03:14:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.115948
• Title: Cosine Similarity Is Not Evidence: Measuring the Noise Floor of Interpretability Transfer Under Quantization
• Title（参考訳）: コサインの類似性はエビデンスではない:量子化下での解釈可能性伝達のノイズフロアの測定
• Abstract要約: 解釈可能なアーティファクトは、完全な精度の重みで校正され、量子化されたものの上に展開され、変更を生き残るものとして認定される。 スケール不変統計量では、変換が変換された決定変数の減衰と区別できないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A statistic reported without the quantity needed to interpret it is not evidence. We develop that thesis for a concrete practice in AI safety. Interpretability artifacts are calibrated on full-precision weights, deployed on quantized ones, and certified as surviving the change by scale-invariant statistics (cosine similarity, correlation, AUROC) that are reported without their noise floor. For the difference-in-means direction estimator, the split-half floor is governed by one dimensionless number, $κ= nρ^2/d$. The closed form $\mathbb{E}[\cos] \approx (1+4/κ)^{-1}$ is classical; the missing input is the class separation $ρ$, which we measure on real activations; no compression-transfer study we know of reports it. On Qwen2.5-1.5B-Instruct, $ρ= 33$--$61$ across depth, so two independent runs of the estimator agree to $0.978$--$0.994$ by sampling alone. A published cosine of $0.996$ between full-precision and quantized refusal directions therefore cannot be read as preservation without the $n$ it was computed at, which is not reported. Where $n$ is known, we judge each low-bit cosine against the split-half null measured within that quantized model, because a full-precision null assumes the low-bit estimator has the same variance. That assumption is exactly what a null exists to test. The result is plain: at INT4 the direction rotated, and the deficit exceeds the estimator's own noise. At INT8 we detect no movement, which is not an equivalence claim. We also show that a scale-invariant statistic cannot distinguish translation from attenuation of a transferred decision variable, although the two call for opposite remedies. We close with reporting recommendations that cost one forward pass. Code, data, and a one-cell reproduction are released at https://github.com/pvarshh/quantinterp
• Abstract（参考訳）: 解釈に必要な量なしで報告された統計は、証拠ではない。 私たちは、AIの安全性に関する具体的な実践のテーマを開発します。 解釈可能なアーティファクトは、完全精度の重みで校正され、量子化された重みに展開され、ノイズフロアなしで報告されるスケール不変統計(コサイン類似性、相関性、AUROC)によって変化を生き残ると認定される。 差分方向推定器では、分割半階は1次元の無次元数、$κ=nρ^2/d$で管理される。 閉形式 $\mathbb{E}[\cos] \approx (1+4/κ)^{-1}$ は古典的である; 欠けている入力は、実際のアクティベーションを測るクラス分離 $ρ$ である。 Qwen2.5-1.5B-Instructでは、$ρ= 33$--61$であるので、推定器の2つの独立した実行はサンプリングだけで0.978$---0.994$に一致する。 完全精度と量子化拒絶方向の間にある0.996$のcosineが発行され、従って計算された$n$がなければ保存として読めないが、これは報告されていない。 n$が知られている場合、我々は各低ビットコサインを、その量子化モデル内で測定された分割半値のnullに対して判定する。 その仮定は、テストにnullが存在するというまさにそのものだ。 INT4では方向が回転し、損失は推定器自身のノイズを超える。 INT8では、同値なクレームではない動きを検知する。 また、スケール不変統計量では、変換が変換決定変数の減衰と区別できないことも示している。 われわれは、前払いが1回かかるというリポートのレコメンデーションを締めくくっている。 code, data, and a one-cell production is released at https://github.com/pvarshh/quantinterp

関連論文リスト

• Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
  グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。 有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。 我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
  論文  参考訳（メタデータ） (2026-09-26T21:47:14Z)
• Decoupling Is Not Identification: Supervised Evidential Learning in Next-Token Prediction [7.5571037918649155]
  次の表現確率は、モデルが予測するものであり、その背後にどれだけのトレーニングサポートがあるかではない。 キャラクタレベルのモビーディックにおいて,このギャップを監査するための証拠次世代予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-14T01:28:35Z)
• Detecting and Discriminating Operator Misspecification in Hybrid PDE-Parameter Learning: a Reference-Free Instrument, with Discrimination Bounded In Sample [0.0]
  私たちは1つのフィットから読み取る楽器を作り、オラクルは持っていません。 回復時に神経推定器がTikhonov-regularized inversionに負ける、事前登録された負の機器である、装置の盲点を報告する。
  論文  参考訳（メタデータ） (2026-08-04T21:20:44Z)
• The V-fold jackknife for semiparametric inference: variance estimation, confidence intervals, and simultaneous confidence bands [2.715949869811686]
  bootstrapは、その広範な適用性と最小限の分析要件のため、統計的推論のデフォルトツールである。 我々は,半パラメトリック推論の計算効率と理論的に正当化された代替手段として,$V$フォールド・ジャックナイフを開発した。
  論文  参考訳（メタデータ） (2026-07-24T17:05:54Z)
• Decoherence as Defence and the Magnitude of Noise Regularisation: A Rigorous N -Qubit Theory of Stochastic Quantum Neural Networks for Adversarially Robust Network Intrusion Detection [0.0]
  マスター方程式とそのベクトル化されたリウビリアンによる$N$-qubitの定式化を与える。 エンフェデコヒーレンス・コントラクションの定理、すなわち強度の非分極チャネルを証明します。 このロバスト性は、アタックタイムの収縮ではなく、ノイズの変形したトレーニング境界から生じることを示す。
  論文  参考訳（メタデータ） (2026-06-23T07:06:56Z)
• A Mathematical Theory of Value: a synthesis on goal-directed agency under resource constraints [6.057587531186626]
  目的指向エージェントが生成し、破壊し、交換する価値は、情報と同じカテゴリの法的構造量であることを示す。 価格がフレームに依存していない間、価値はフレーム相対的であり、そのリソースをプールし、その知覚を融合する艦隊が天井を継承する。
  論文  参考訳（メタデータ） (2026-06-10T16:11:04Z)
• The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
  大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。 これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
  論文  参考訳（メタデータ） (2026-05-09T22:27:31Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• The Sample Complexity of Robust Covariance Testing [56.98280399449707]
  i. i. d. 形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。 汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。 サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
  論文  参考訳（メタデータ） (2020-12-31T18:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。