論文の概要: $λ$-JEPA Spectral Anti-Collapse Regularization for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2609.35288v2
• Date: Tue, 29 Sep 2026 09:02:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.806984
• Title: $λ$-JEPA Spectral Anti-Collapse Regularization for Self-Supervised Learning
• Title（参考訳）: 自己監督学習のための$λ$-JEPAスペクトル反崩壊正規化
• Abstract要約: 共同埋め込み型自己教師学習は、通常、拡張ビュー全体にわたる不変目的と、表現的崩壊を防ぐための追加メカニズムを組み合わせる。 本稿では、$$- Balanceの分析により、スペクトル反崩壊正則化器SACRegを紹介する。 二層線形ネットワークでは、(i)$- Balanceが崩壊を防止し、(ii)バックボーンに適用した正規化器が$- Balanceを誘導することを示す。
• 参考スコア（独自算出の注目度）: 47.712647817061566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-embedding self-supervised learning typically combines an invariance objective across augmented views with additional mechanisms to prevent representational collapse. These objectives are often applied after a projection head, while downstream tasks use the backbone representation before the projector. We find that this mismatch does not necessarily prevent dimensional collapse in the backbone, which can retain low effective rank and potentially limit downstream transfer. To address this, we introduce SACReg, a spectral anti-collapse regularizer motivated by an analysis of $λ$-balance, which captures the relative scale of weight matrices across layers. In a two-layer linear network, we show that (i) $λ$-balance prevents collapse, and (ii) our regularizer applied to the backbone induces $λ$-balance. In the nonlinear case, this regularizer leads to anti-collapse as well and, in realistic architectures on ImageNet100, it empirically increases the representations' ranks. We apply SACReg to JEPA and propose $λ$-JEPA, which improves over LeJEPA and VISReg on ImageNet-1k classification and in average linear-probe transfer performance across eight downstream image datasets. On video self-supervised learning, $λ$-JEPA improves over LeVJEPA and V-JEPA 2 on the Something-Something-v2 and Kinetics-400 benchmarks. Code is available at https://github.com/berkerdemirel/lambda-jepa.
• Abstract（参考訳）: 共同埋め込み型自己教師学習は、通常、拡張ビュー全体にわたる不変目的と、表現的崩壊を防ぐための追加メカニズムを組み合わせる。 これらの目的はしばしばプロジェクションヘッドの後に適用されるが、下流タスクはプロジェクターの前にバックボーン表現を使用する。 このミスマッチは、背骨の次元的崩壊を必ずしも防ぐものではなく、低効率なランクを維持し、下流の移動を制限する可能性がある。 この問題に対処するために、SACRegというスペクトル反崩壊正則化器を$λ$- Balanceの分析により導入し、層間の重み行列の相対スケールを捉える。 2層線形ネットワークでは、そのことが示される。 (i)$λ$- Balanceは崩壊を防ぎ、 (ii) バックボーンに適用した正規化器は$λ$- Balanceを誘導する。 非線形の場合、この正規化器は反崩壊にもつながり、ImageNet100上の現実的なアーキテクチャでは、表現のランクを経験的に増加させる。 我々はJEPAにSACRegを適用し、ImageNet-1k分類におけるLeJEPAとVISRegよりも改善された$λ$-JEPAと、8つの下流画像データセットの平均線形プローブ転送性能を提案する。 ビデオ自己教師型学習では、$λ$-JEPAはSomething-v2とKineetics-400ベンチマークでLeVJEPAとV-JEPA 2よりも改善されている。 コードはhttps://github.com/berkerdemirel/lambda-jepa.comから入手できる。

関連論文リスト

• Hamiltonian JEPA: Action-Conditioned World Models with an Inherited Control State [49.52703800684483]
  ピクセルからの計画には、安定かつ予測可能な潜在空間以上のものが必要である。 統合埋め込み予測アーキテクチャ(JEPA)は、将来の表現を予測することでピクセル再構成を避ける。 我々はこの2つを分離するH-JEPAを紹介する。
  論文  参考訳（メタデータ） (2026-09-27T12:05:41Z)
• LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
  我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。 単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。 LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
  論文  参考訳（メタデータ） (2026-08-27T17:26:24Z)
• Motion-Aware Reinforcement Learning For Object Localization [0.0]
  本稿では,PPOをベースとしたバウンディングボックス改善剤であるMARLNetについて述べる。 エージェントは268次元の観測を行い、座標調整を制御する5次元ポリシーとバイナリ終端トリガを学習する。 我々は,定速度偏差ペナルティと絶対IoU項を組み合わせた報酬干渉が引き金の崩壊を引き起こすことを解析した。
  論文  参考訳（メタデータ） (2026-06-19T21:27:02Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations [53.61624356747686]
  JEPA(Joint-Embedding Predictive Architectures)は、ビュー不変表現を学習し、崩壊防止のためのプロジェクションベースの分布マッチングを認める。 既存のアプローチは、等方的ガウス分布に対する表現を正則化するが、本質的には密度表現を好んでおり、効率的な表現で観察されるスパーシティの重要な性質を捉えることができない。 本稿では,Rectified Generalized Gaussian(RGG)分布に表現を整合させる2サンプル分布整合損失であるRDMRegを導入する。
  論文  参考訳（メタデータ） (2026-02-01T21:49:30Z)
• Sparse Representations Improve Adversarial Robustness of Neural Network Classifiers [0.0]
  ディープニューラルネットワークは、画像分類タスクにおいて極めてよく機能するが、慎重に構築された敵の摂動に弱いままである。 この研究は、線形次元の減少を単純なデータ適応型防衛として再考する。 実証的には、プロジェクション後の小さな非線形ネットワークにより、SPCAは強いホワイトボックスとブラックボックス攻撃の下で、PCAよりも常に優雅に低下する。
  論文  参考訳（メタデータ） (2025-09-25T13:21:22Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。