論文の概要: Whitening Inverts the Hierarchy: What the Norm of a Whitened Embedding Measures

• arxiv url: http://arxiv.org/abs/2609.23117v1
• Date: Sat, 19 Sep 2026 16:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.677525
• Title: Whitening Inverts the Hierarchy: What the Norm of a Whitened Embedding Measures
• Title（参考訳）: ホワイトニングが階層を逆転する:ホワイトニングの埋め込み対策のノーム
• Abstract要約: 正方形の白色ノルムは、丸太のようなものよりも、意味的非定型性のマハラノビス測度としてよりよく解釈されていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Whitening a foundation-model embedding and using its squared norm as a training-free likelihood surrogate is motivated by the observation that whitened coordinates often appear approximately standard normal. We show that this observation follows from the projection central limit theorem and therefore does not imply a Gaussian joint distribution. Across multiple encoders and three training objectives, we find systematic over-dispersion of the whitened radius relative to the Gaussian reference, including against distributional clones with identical mean and covariance. We further show that the commonly reported agreement between empirical and theoretical norm statistics is an algebraic consequence of in-sample whitening and does not constitute evidence for Gaussianity. We identify the mechanism behind this behavior: whitening reverses the encoder's spectral hierarchy, shifting the contribution to the squared norm toward near-degenerate directions that encode predominantly noise. In these directions, the dominant variability is governed by a single input-dependent scale. We estimate this scale from two moments and use it to predict, without additional free parameters, the cross-dependence between disjoint spectral halves. These results indicate that the squared whitened norm is better interpreted as a Mahalanobis measure of semantic atypicality than as a log-likelihood. This interpretation explains both its practical effectiveness and its calibration failures: the statistic can rank and detect atypical samples consistently with nonparametric density estimates and across encoders trained with different objectives, while Gaussian tail thresholds can be inaccurate by orders of magnitude. etc.
• Abstract（参考訳）: 基礎モデル埋め込みをホワイトニングし、その正方形ノルムをトレーニング自由可能性サロゲートとして使用することは、ホワイトド座標がほぼ標準正規に現れるという観察によって動機づけられる。 我々は、この観測が射影中心極限定理から従うことを示し、したがってガウスの合同分布を暗示しない。 複数のエンコーダと3つのトレーニング目標をまたいで、同じ平均と共分散を持つ分布クローンを含む、ガウス基準に対する白色半径の体系的過分散を見出した。 さらに、経験的ノルム統計学と理論的ノルム統計学の間で一般的に報告されている合意は、サンプル内白化の代数的帰結であり、ガウス性の証拠を形成しないことを示す。 ホワイトニングはエンコーダのスペクトル階層を逆転させ、主にノイズを符号化するほぼ退化方向への寄与をシフトさせる。 これらの方向では、支配的な変動は単一の入力依存尺度によって支配される。 2つのモーメントからこのスケールを推定し、余分な自由パラメータなしでは、不随伴スペクトルハーフ間の相互依存性を予測する。 これらの結果は、正方形の白色ノルムは、丸太のようなものよりも、意味的非定型性のマハラノビス測度としてよりよく解釈されていることを示している。 統計学は非パラメトリック密度の推定値と異なる目的で訓練されたエンコーダの非定型的なサンプルをランク付けし、検出することができるが、ガウスの尾の閾値は桁違いに不正確である。 など

関連論文リスト

• SoftCVI: Contrastive variational inference with self-generated soft labels [2.5398014196797614]
  変分推論とマルコフ連鎖モンテカルロ法がこのタスクの主要なツールである。 ソフトコントラスト変動推論(SoftCVI)を導入し、コントラスト推定フレームワークを用いて変動対象のファミリーを導出する。 我々は、SoftCVIを用いて、訓練や大量発見に安定な目標を定式化することができ、他の変分アプローチよりも頻繁に優れた推論が可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-22T14:54:12Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression [1.342834401139078]
  本稿では,高次元回帰のための新しい手法であるSpectrumAware Debiasingを紹介する。 我々のアプローチは、構造的、重く、低ランクな構造に関する問題に適用できる。 シミュレーションおよび実データ実験により本手法を実証する。
  論文  参考訳（メタデータ） (2023-09-14T15:58:30Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。