論文の概要: VISReg: Variance-Invariance-Sketching Regularization for JEPA training

• arxiv url: http://arxiv.org/abs/2606.02572v1
• Date: Mon, 01 Jun 2026 17:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:32.564584
• Title: VISReg: Variance-Invariance-Sketching Regularization for JEPA training
• Title（参考訳）: VISReg: JEPAトレーニングのための可変不変ケッチ正規化
• Authors: Haiyu Wu, Randall Balestriero, Morgan Levine,
• Abstract要約: 自己教師付き学習手法は、埋め込み空間のモデリングや明示的な正規化による埋め込み崩壊を防止する。 可変不変ケッチ正規化(VISReg)を提案する。 VISRegは共分散をSliced-Wassersteinベースのスケッチ目的に置き換え、完全な分布形状を強制する。 我々は、VISRegが線形にスケールし、低品質データセット上で既存の正規化よりも優れており、長い尾と低ランクのレギュレーションに対して弾力性があることを示す。
• 参考スコア（独自算出の注目度）: 21.894781659564817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning methods prevent embedding collapse via modeling heuristics or explicit regularization of the embedding space. Among the latter, VICReg decomposes regularization into variance and covariance objectives, offering flexibility and interpretability. However, covariance captures only second-order statistics -- encouraging decorrelation but failing to enforce the full distributional shape needed for stable training. Sketching-based methods such as SIGReg address this by aligning embeddings to an isotropic Gaussian, but lack flexibility and suffer from vanishing gradients under collapse. We propose Variance-Invariance-Sketching Regularization (VISReg), which replaces covariance with a Sliced-Wasserstein-based sketching objective that enforces full distributional shape, while retaining a variance term for scale control. By decoupling scale and shape, VISReg combines VICReg's flexibility with the distributional rigor of sketching methods, providing robust gradients even under collapse. We show that VISReg scales linearly, outperforms existing regularization on low-quality datasets, and is resilient to long-tailed and low-rank regimes. Pre-trained on ImageNet-1K, VISReg achieves state-of-the-art performance on out-of-distribution datasets. Pre-trained on ImageNet-22K, it matches DINOv2's OOD performance despite the latter using 10x more data (LVD-142M). Project and code: https://haiyuwu.github.io/visreg.
• Abstract（参考訳）: 自己教師付き学習法は、モデリングヒューリスティックや埋め込み空間の明示的な正規化による埋め込み崩壊を防止する。 後者のうち、VICRegは正規化を分散と共分散の目的に分解し、柔軟性と解釈可能性を提供する。 しかし、共分散は2階統計のみを捉え、デコリレーションを奨励するが、安定したトレーニングに必要な完全な分布形状を強制することができない。 SIGRegのようなスケッチベースの手法は、埋め込みを等方的なガウスに整列させることによってこの問題に対処するが、柔軟性に欠け、崩壊中の勾配が消えることに悩まされる。 本研究では,スライス・ワッサーシュタインをベースとしたスケッチの目的と共分散を置き換え,分散項を維持しながら,完全な分散形状を強制する分散・分散・スケッチ正規化(VISReg)を提案する。 スケールと形状を分離することにより、VISRegはVICRegの柔軟性とスケッチ手法の分散厳密さを結合し、崩壊しても堅牢な勾配を提供する。 我々は、VISRegが線形にスケールし、低品質データセット上で既存の正規化よりも優れており、長い尾と低ランクのレギュレーションに対して弾力性があることを示す。 ImageNet-1Kで事前トレーニングされたVISRegは、アウト・オブ・ディストリビューションデータセット上で最先端のパフォーマンスを達成する。 ImageNet-22Kで事前訓練され、DINOv2のOOD性能と一致するが、後者は10倍のデータ(LVD-142M)を使用する。 プロジェクトとコード:https://haiyuwu.github.io/visreg.com

関連論文リスト

• Weak-SIGReg: Covariance Regularization for Stable Deep Learning [0.0]
  この研究は、最近LeJEPAの自己教師型フレームワークで導入されたSketched Isotropic Gaussian Regularization (SIGReg)を採用し、教師付き学習のための一般的な最適化安定化器として再利用している。 SIGRegは表現密度を等方性ガウスに対して制限し、このドリフトを緩和する。 SIGRegはアーキテクチャハックなしで20.73%から72.02%の精度でCIFAR-100上でのViTトレーニングを回復し、純粋なSGDでトレーニングされた深いバニラの収束を大幅に改善する。
  論文  参考訳（メタデータ） (2026-03-06T05:32:40Z)
• Soft Equivariance Regularization for Invariant Self-Supervised Learning [23.047550451521662]
  自己教師付き学習(SSL)は通常、意味保存強化に不変な表現を学習する。 本研究では,不等分散と等分散を両立させるプラグイン正規化器であるソフト等分散正規化(SER)を提案する。 SERはサンプルごとの変換コードやラベルを学習/予測し、補助的な変換予測ヘッドを必要としない。
  論文  参考訳（メタデータ） (2026-03-04T13:36:17Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• Self-Supervised Learning by Curvature Alignment [0.15293427903448018]
  CurvSSLは、曲率調整による自己教師付き学習フレームワークである。 曲率調整型自己教師型学習フレームワークであるCurvSSLを紹介する。 局所幾何学を明示的に形成することは、純粋な統計的SSL正規化器の単純かつ効果的な補完であることを示す。
  論文  参考訳（メタデータ） (2025-11-21T17:22:31Z)
• Compensating Distribution Drifts in Class-incremental Learning of Pre-trained Vision Transformers [27.14203097630326]
  本稿では、遅延空間遷移演算子を導入し、ドリフト補償を用いた逐次学習を提案する。 SLDCは、ドリフトの影響を軽減するために、タスク間で機能の分散を調整することを目的としている。 標準CILベンチマークの実験では、SLDCはSeqFTの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-11-13T03:40:54Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Learning GFlowNets from partial episodes for improved convergence and stability [56.99229746004125]
  生成フローネットワーク(GFlowNets)は、非正規化対象密度の下で離散オブジェクトのシーケンシャルサンプリングを訓練するアルゴリズムである。 GFlowNetsの既存のトレーニング目的は、状態または遷移に局所的であるか、あるいはサンプリング軌道全体にわたって報酬信号を伝達する。 強化学習におけるTD($lambda$)アルゴリズムにインスパイアされたサブトラジェクティブバランス(subtrajectory balance, SubTB($lambda$)を導入する。
  論文  参考訳（メタデータ） (2022-09-26T15:44:24Z)
• Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
  SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。 この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。 我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
  論文  参考訳（メタデータ） (2022-02-02T11:58:56Z)
• VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning [43.96465407127458]
  本稿では,組込みの分散に関する単純な正規化項を用いて,崩壊問題を明確に回避する手法であるvicregを紹介する。 VICRegは、いくつかの下流タスクで、アートの状態と同等の結果を得る。
  論文  参考訳（メタデータ） (2021-05-11T09:53:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。