Fugu-MT 論文翻訳(概要): Shared Gaussianization: What Gaussian Regularizers Certify About Contrastive Learning, and What They Miss

論文の概要: Shared Gaussianization: What Gaussian Regularizers Certify About Contrastive Learning, and What They Miss

arxiv url: http://arxiv.org/abs/2610.10299v1
Date: Wed, 07 Oct 2026 15:53:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 21:58:23.015946
Title: Shared Gaussianization: What Gaussian Regularizers Certify About Contrastive Learning, and What They Miss
Title（参考訳）: 共有ガウス化(Shared Gaussianization) - ガウス正規化者がコントラスト学習について認定するものと、見逃すもの
Abstract要約: 本研究では,2つの正規化ビューの平均値に対する特徴関数ガウス性試験である共有ガウス化(SG)について検討した。共有コードが一様でない場合、ビュー毎のニュアンスを追加することで、純粋なSGは損失を減少させる。 InfoNCEトレーニングは、スクラッチからSG$_0.2$トレーニングよりも低いSG$_0.2$ロスに達する。
参考スコア（独自算出の注目度）: 14.172577734029838
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: What can a distribution-matching regularizer such as SIGReg in LeJEPA certify about contrastive learning? We study shared Gaussianization (SG), a characteristic-function Gaussianity test on the average of two normalized views, scaled by an independent $χ_d$ radius. Because disagreeing views shorten the average, one test detects both misalignment and non-uniformity. SG vanishes exactly at the aligned, uniform minimizers of population InfoNCE, and under equal marginals it bounds the InfoNCE excess by $4\cdot 3^{3/4}β$ times the square root of the SG loss, plus a term linear in the loss. The square-root rate and this dimension-free constant are sharp, and no squared mean-embedding distance on view pairs achieves a faster rate. With an explicit alignment term, a rotation-invariant uniformity test gives a linear bound if and only if its spectrum dominates that of InfoNCE's kernel $e^{βu^\top v}$; SG's own test does, Gaussian kernels $e^{-γ\|u-v\|^2}$ qualify exactly when $γ\ge β/2$, and moment matching never does. Away from the optimum, the objectives differ. Along an isotropic nuisance channel, pure SG lowers its loss by adding per-view nuisance whenever the shared code is non-uniform. An alignment weight above the channel's gain makes the nuisance-free solution a strict local minimizer; for LeJEPA, the same rule gives a critical SIGReg weight that decreases with the batch size. At finite batch size, an off-diagonal U-statistic removes a plug-in bias toward misalignment. In controlled latent-variable models, pure SG retains per-view style, an alignment weight above the measured gain removes it, and for LeJEPA at three batch sizes the measured gain separates the encoders that retain style from those that do not. InfoNCE training also reaches a lower SG$_{0.2}$ loss than SG$_{0.2}$ training from scratch, which points to an optimization gap.
Abstract（参考訳）: LeJEPAにおけるSIGRegのような分布整合正規化器は、コントラスト学習に対して何の認定ができるのか? 本研究では,2つの正規化ビューの平均値に対する特性関数ガウシアン性試験である共有ガウシアン化(SG)について検討した。意見の不一致が平均を短くするため、あるテストは不一致と非一様の両方を検出する。 SG は、集団 InfoNCE の均一な最小化器を正確に整列して消滅し、等しい限界の下では、InfoNCE の余剰を SG 損失の平方根の 4\cdot 3^{3/4}β$ で束縛し、損失の項は線形である。平方根率とこの次元自由定数はシャープであり、ビューペアの平均埋め込み距離は高速である。明示的なアライメント項で、回転不変一様性テストは、そのスペクトルがInfoNCEのカーネル $e^{βu^\top v}$, SGの自身のテストが、ガウスのカーネル $e^{-γ\|u-v\|^2}$ が、$γ\ge β/2$ のときの正確な値と、モーメントマッチングが決して成立しない場合にのみ線形境界を与える。最適性は別として、目的は異なる。等方的ニュアンスチャネルに沿って、純粋なSGは共有コードが一様でないときにビュー単位のニュアンスを追加することで損失を減少させる。チャネルの利得より上のアライメントウェイトは、ニュアンスフリー解を厳密な局所最小化器とし、LeJEPAの場合、同じ規則は、バッチサイズで減少する重要なSIGReg重みを与える。有限バッチサイズでは、外対角U統計は、誤調整に対するプラグインバイアスを除去する。制御された潜在変数モデルでは、純粋なSGはビュー単位のスタイルを保持し、測定した利得の上のアライメントウェイトはそれを除去し、測定された利得が3つのバッチサイズである場合、測定された利得は、そのスタイルを保持するエンコーダを非表示のものと分離する。 InfoNCEトレーニングは、スクラッチからSG$_{0.2}のトレーニングよりも低いSG$_{0.2}の損失に達する。

論文の概要: Shared Gaussianization: What Gaussian Regularizers Certify About Contrastive Learning, and What They Miss

関連論文リスト