論文の概要: The Standard Deviation in VICReg Buys a Safety Margin

• arxiv url: http://arxiv.org/abs/2610.32630v1
• Date: Fri, 23 Oct 2026 13:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.532587
• Title: The Standard Deviation in VICReg Buys a Safety Margin
• Title（参考訳）: VICRegの標準偏差が安全マージンを買収
• Abstract要約: VICRegは、各埋め込み次元の標準偏差に対するヒンジによる崩壊を防止する。 我々の知る限りでは、この主張は実験的に検証されていない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: VICReg prevents collapse with a hinge on the standard deviation of each embedding dimension, and its authors argue from the gradient that a hinge on the variance would fail. To our knowledge, this claim has not been tested experimentally. We test it in a controlled setting (ResNet-18, CIFAR-10 and CIFAR-100), changing only the hinge and sweeping its weight $μ$ over five orders of magnitude. At the default weight ($μ= 1$), the two hinges reach the same linear-probe accuracy on CIFAR-10 (about 89.5%). Both collapse below a threshold weight, but the standard-deviation hinge's threshold is 35-130$\times$ lower. CIFAR-100 shows a consistent gap. In training, the variance hinge's gradient fades as the feature variance shrinks, while the standard-deviation hinge's does not until that variance is very small. The standard-deviation hinge therefore buys a safety margin: it keeps training at weights far below the point where the variance hinge collapses.
• Abstract（参考訳）: VICRegは、各埋め込み次元の標準偏差のヒンジによる崩壊を防止し、その著者らは、分散に対するヒンジが失敗するであろうという勾配から議論する。 我々の知る限りでは、この主張は実験的に検証されていない。 制御された設定(ResNet-18、CIFAR-10、CIFAR-100)でテストし、ヒンジのみを変更し、重量を5桁以上掃除する。 デフォルトの重量(μ=1$)では、2つのヒンジはCIFAR-10(約89.5%)で同じ線形プローブ精度に達する。 どちらも閾値以下で崩壊するが、標準偏差ヒンジの閾値は35-130$\times$低い。 CIFAR-100は、一貫したギャップを示す。 トレーニングでは、特徴分散が減少するにつれて、分散ヒンジの勾配は減少するが、標準偏差ヒンジの勾配は、その分散が非常に小さくなるまで変化しない。 したがって、標準偏差ヒンジは安全マージンを買い、分散ヒンジが崩壊する地点よりはるかに低い重量でトレーニングを続ける。

関連論文リスト

• When Momentum Helps Polyak--Ruppert Averaging [75.70186756364649]
  有限ランの到達速度と、それらがどの程度並列化できるかを特徴付ける。 加法雑音を伴う強凸二次群に対しては、オンライン・オフライン橋の証明を行う。
  論文  参考訳（メタデータ） (2026-10-20T10:29:50Z)
• Randomized Momentum Transport with Cheap Predictors [43.7624716532625]
  モーメント法は運動量に輸送補正を加えることで勾配を追跡する。 ランダム化された運動量輸送を導入し、確率で補正する。 修正の4分の1をクエリすると、MNIST1Dで18ドルから43%の最終的なトレーニング損失が減少し、CIFAR-10上でのHessian-vectorトランスポートのテスト精度が1.5ドルポイント向上する。
  論文  参考訳（メタデータ） (2026-10-09T16:04:53Z)
• Shared Gaussianization: What Gaussian Regularizers Certify About Contrastive Learning, and What They Miss [14.172577734029838]
  本研究では,2つの正規化ビューの平均値に対する特徴関数ガウス性試験である共有ガウス化(SG)について検討した。 共有コードが一様でない場合、ビュー毎のニュアンスを追加することで、純粋なSGは損失を減少させる。 InfoNCEトレーニングは、スクラッチからSG$_0.2$トレーニングよりも低いSG$_0.2$ロスに達する。
  論文  参考訳（メタデータ） (2026-10-07T15:53:56Z)
• Sketched Calibration for Conformal Prediction under Covariate Shift [0.0]
  圧縮共変量$Z=T(X)$の比率で重み付き共形予測を行う。 圧縮はシフト依存のキャリブレーションコストを上昇させず、ターゲットカバレッジは少なくとも1-_T$であり、リークされた$_T$は、破棄されたシフトのどれ程がレスポンスの法則の変化として現れるか、あるいはZ$が与えられたスコアのどれかを測定する。 非重み付けキャリブレーションが失敗するヘテロ代数学シミュレーションにおいて、1次元スケッチは無限の予測集合の分数を切り取る
  論文  参考訳（メタデータ） (2026-10-06T23:09:58Z)
• Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
  グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。 有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。 我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
  論文  参考訳（メタデータ） (2026-09-26T21:47:14Z)
• Restricted Eigenvalues Beyond Gaussian Width: Threshold Occupancy under Heavy Tails [47.36630149538994]
  等方的準ガウス測度の場合、ベンチマークサンプルサイズは1+w(A)2$であり、$w(A)$は正規化降下円錐のガウス幅である。 ここで定式化された一般的な問題に対して、明示的で体系的な否定的な答えを与える:提案された法則は、その全次元自由で任意の集合形式で失敗する。 等方性の下では、アフィン次元倍の2乗半径で支配される分布のないフォールバックがこの族に鋭い。
  論文  参考訳（メタデータ） (2026-09-03T08:05:05Z)
• Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification [0.8803840644459077]
  Cov-LLEは、ウェイト・オルソノーマル性が不可能な関数空間の多様性を復元し、マッチした$K$は深いアンサンブルの多様性と校正の多くを回復する。 OCを最終層アンサンブルと見なすと、検出器を2軸の分類に整理する。
  論文  参考訳（メタデータ） (2026-07-26T21:56:02Z)
• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• When Does Margin Clamping Affect Training Variance? Dataset-Dependent Effects in Contrastive Forward-Forward Learning [0.0]
  コントラストフォワード(Contrastive Forward-Forward, CFF)学習は、教師付きコントラスト目標に対して、ビジョントランスフォーマーを層別に層状化する。 比較損失における正対辺のマージンは、類似度クランプの飽和により適用される。 対数確率の後にマージンを減じる別の定式化が、平均-上-正の還元の下で勾配ニュートラルであることを証明する。
  論文  参考訳（メタデータ） (2026-03-01T07:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。