論文の概要: LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics

• arxiv url: http://arxiv.org/abs/2511.08544v1
• Date: Wed, 12 Nov 2025 02:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.858988
• Title: LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics
• Title（参考訳）: LeJEPA: ヒューリスティックな知識のない,スケーラブルでスケーラブルな自己監視型学習
• Authors: Randall Balestriero, Yann LeCun,
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
• 参考スコア（独自算出の注目度）: 53.247652209132376
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Learning manipulable representations of the world and its dynamics is central to AI. Joint-Embedding Predictive Architectures (JEPAs) offer a promising blueprint, but lack of practical guidance and theory has led to ad-hoc R&D. We present a comprehensive theory of JEPAs and instantiate it in {\bf LeJEPA}, a lean, scalable, and theoretically grounded training objective. First, we identify the isotropic Gaussian as the optimal distribution that JEPAs' embeddings should follow to minimize downstream prediction risk. Second, we introduce a novel objective--{\bf Sketched Isotropic Gaussian Regularization} (SIGReg)--to constrain embeddings to reach that ideal distribution. Combining the JEPA predictive loss with SIGReg yields LeJEPA with numerous theoretical and practical benefits: (i) single trade-off hyperparameter, (ii) linear time and memory complexity, (iii) stability across hyper-parameters, architectures (ResNets, ViTs, ConvNets) and domains, (iv) heuristics-free, e.g., no stop-gradient, no teacher-student, no hyper-parameter schedulers, and (v) distributed training-friendly implementation requiring only $\approx$50 lines of code. Our empirical validation covers 10+ datasets, 60+ architectures, all with varying scales and domains. As an example, using imagenet-1k for pretraining and linear evaluation with frozen backbone, LeJEPA reaches 79\% with a ViT-H/14. We hope that the simplicity and theory-friendly ecosystem offered by LeJEPA will reestablish self-supervised pre-training as a core pillar of AI research (\href{git@github.com:rbalestr-lab/lejepa.git}{GitHub repo}).
• Abstract（参考訳）: 世界のマニピュラブルな表現とそのダイナミクスを学習することは、AIの中心である。 JEPA(Joint-Embedding Predictive Architectures)は、将来性のある青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAsの包括的な理論を提示し、それをリーンでスケーラブルで理論的に基礎付けられたトレーニング目標である {\bf LeJEPA} にインスタンス化する。 まず、等方的ガウス分布をJEPAsの埋め込みが従うべき最適分布として同定し、下流予測リスクを最小限に抑える。 第2に,その理想分布に到達するために埋め込みを制約するために,新しい目的--{\bf Sketched Isotropic Gaussian Regularization} (SIGReg)を導入する。 JEPA予測損失とSIGRegを組み合わせることで、LeJEPAには理論的、実用的なメリットが多数含まれます。 (i)単一トレードオフハイパーパラメータ (II)線形時間とメモリの複雑さ。 (iii)ハイパーパラメータ、アーキテクチャ(ResNets、ViTs、ConvNets)およびドメイン間の安定性 (四)ヒューリスティックスフリー、eg、停止段階なし、教師学生なし、ハイパーパラメータスケジューラなし、 (v) $\approx$50行のコードしか必要としない分散トレーニングフレンドリーな実装。 実験的な検証では、10以上のデータセット、60以上のアーキテクチャ、すべてさまざまなスケールとドメインがカバーされています。 例えば、フリーズバックボーンによる事前トレーニングおよび線形評価に imagenet-1k を用いると、LeJEPA は ViT-H/14 で 79\% に達する。 LeJEPAが提供するシンプルで理論に親しみやすいエコシステムが、AI研究のコア柱として自己指導型事前トレーニング(\href{git@github.com:rbalestr-lab/lejepa.git}{GitHub repo})を復活させることを願っている。

関連論文リスト

• Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density [51.15085346971361]
  JEPA(Joint Embedding Predictive Architectures)は、多くのダウンストリームタスクを最初から解決できる表現を学習する。 JEPAsには2つの目的がある: (i) 潜在空間予測項、すなわち、わずかに摂動されたサンプルの表現は、元のサンプルの表現から予測できなければならない、 (ii) 反崩壊項、すなわち、すべてのサンプルが同じ表現を持つべきではない、という2つの目的がある。
  論文  参考訳（メタデータ） (2025-10-07T14:06:30Z)
• TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning [63.73629127832652]
  本稿では,TDに基づく潜在予測表現を教師なしRLに活用するTD-JEPAを紹介する。 TD-JEPAは、明示的な状態とタスクエンコーダ、ポリシー条件付きマルチステップ予測器、パラメータ化されたポリシーのセットを潜時空間で直接訓練する。 実証的には、TD-JEPAは13のデータセットにわたる移動、ナビゲーション、操作のタスクにおいて、最先端のベースラインをマッチまたは上回る。
  論文  参考訳（メタデータ） (2025-10-01T10:21:18Z)
• Label-Efficient Grasp Joint Prediction with Point-JEPA [0.0]
  Point-JEPAによる3次元自己教師付き事前トレーニングにより,ラベル効率のよいグリップ・アングル予測が可能となる。 JEPAスタイルの事前学習は、データ効率のよい学習のための実践的なレバーである。
  論文  参考訳（メタデータ） (2025-09-13T21:00:03Z)
• Denoising with a Joint-Embedding Predictive Architecture [21.42513407755273]
  私たちはD-JEPA(Joint-Embedding Predictive Architecture)でDenoisingを紹介します。 本稿では,JEPAをマスク画像モデリングの一形態として認識することにより,一般化した次世代予測戦略として再解釈する。 また,拡散損失を利用して確率分布をモデル化し,連続空間におけるデータ生成を可能にする。
  論文  参考訳（メタデータ） (2024-10-02T05:57:10Z)
• How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self Distillation Networks [14.338754598043968]
  データ表現の自己教師型学習には2つの競合パラダイムが存在する。 JEPA(Joint Embedding Predictive Architecture)は、意味的に類似した入力が互いに予測可能な表現に符号化されるアーキテクチャのクラスである。
  論文  参考訳（メタデータ） (2024-07-03T19:43:12Z)
• Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective [55.36819597141271]
  逆強化学習(IRL: Inverse Reinforcement Learning)は、インテリジェントシステム開発において重要な役割を担う。 本稿では、サンプルとランタイムを用いて、バニラのオフラインおよびオンライン設定における効率的なIRLの最初のラインを提供する。 応用として、学習した報酬は適切な保証で他のターゲットMDPに転送可能であることを示す。
  論文  参考訳（メタデータ） (2023-11-29T00:09:01Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。