論文の概要: BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning

• arxiv url: http://arxiv.org/abs/2603.00049v1
• Date: Tue, 10 Feb 2026 01:16:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.997876
• Title: BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning
• Title（参考訳）: BiJEPA:対称表現学習のための双方向共同埋め込み予測アーキテクチャ
• Authors: Yongchao Huang,
• Abstract要約: BiJEPAは、データセグメント間のサイクル一貫性予測を強制する。 合成周期信号,カオス的ロレンツ誘導軌道,高次元画像データという3つの異なるモードでBiJEPAを評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-Supervised Learning (SSL) has shifted from pixel-level reconstruction to latent space prediction, spearheaded by the Joint Embedding Predictive Architecture (JEPA). While effective, standard JEPA models typically rely on a uni-directional prediction mechanism (e.g. Context $\to$ Target), potentially neglecting the informative signal inherent in the inverse relationship, degrading its performance. In this work, we propose \textbf{BiJEPA}, a \textit{Bi-Directional Joint Embedding Predictive Architecture} that enforces cycle-consistent predictability between data segments. We address the inherent instability of symmetric prediction (representation explosion) by introducing a critical norm regularization mechanism on the representation vectors. We evaluate BiJEPA on three distinct modalities: synthetic periodic signals, chaotic Lorenz attractor trajectories, and high-dimensional image data (MNIST). Our results demonstrate that BiJEPA achieves stable convergence without collapse, captures the semantic structure of chaotic systems, and learns robust temporal and spatial representations capable of generation and generalisation, offering a more holistic approach to representation learning.
• Abstract（参考訳）: SSL (Self-Supervised Learning) は、JEPA (Joint Embedding Predictive Architecture) に先駆けて、ピクセルレベルの再構築から潜時空間予測へと移行した。 有効ではあるが、標準JEPAモデルは典型的には一方向予測機構(例えばContext $\to$ Target)に依存しており、逆関係に固有の情報信号を無視し、性能を低下させる可能性がある。 本稿では,データセグメント間のサイクル一貫性の予測性を強制する,‘textbf{BiJEPA}’という,‘textit{Bi-Directional Joint Embedding Predictive Architecture’を提案する。 我々は、表現ベクトルに臨界ノルム正規化機構を導入することにより、対称予測(表現爆発)の固有の不安定性に対処する。 合成周期信号,カオス的ロレンツ誘導軌道,高次元画像データ(MNIST)の3つの異なるモードでBiJEPAを評価した。 以上の結果から,BiJEPAは崩壊することなく安定した収束を実現し,カオスシステムのセマンティック構造を捉えるとともに,生成と一般化が可能な頑健な時間的・空間的表現を学習し,表現学習に対するより包括的なアプローチを提供する。

関連論文リスト

• Invariance on Manifolds: Understanding Robust Visual Representations for Place Recognition [19.200074425090595]
  本稿では,2次幾何統計フレームワークを提案する。 提案手法では、固定されたトレーニング済みのバックボーン上に構築されたトレーニング不要のフレームワークを導入し、パラメータ更新なしで強力なゼロショット一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-31T18:12:29Z)
• VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models [0.0]
  EmphVariational JEPA (VJEPA) はテキスト確率論的な一般化であり、変動目的を通して将来の潜伏状態の予測分布を学習する。 VJEPA表現は、画素再構成なしで最適な制御のための十分な情報状態として機能し、崩壊回避の正式な保証を提供する。 我々は、予測的信念を学習力学の専門家とモジュラー事前専門家に分解する拡張であるEmphBayesian JEPA (BJEPA)を提案する。
  論文  参考訳（メタデータ） (2026-01-20T18:04:16Z)
• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning [90.41852663775086]
  ACT-JEPAは模倣学習と自己教師型学習を統合する新しいアーキテクチャである。 我々はアクションシーケンスと抽象的な観察シーケンスを予測するポリシーを訓練する。 実験の結果,ACT-JEPAは時間環境の動的学習によって表現の質を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-01-24T16:41:41Z)
• Graph-level Representation Learning with Joint-Embedding Predictive Architectures [43.89120279424267]
  JEPA(Joint-Embedding Predictive Architectures)は、自己指導型表現学習の斬新で強力な技術である。 グラフ結合埋め込み予測アーキテクチャ(Graph-JEPA)を提案することにより、このパラダイムを用いてグラフレベルの表現を効果的にモデル化できることを示す。 特に、マスク付きモデリングを採用し、コンテキストサブグラフの潜時表現から始まるマスク付きサブグラフの潜時表現を予測することに焦点をあてる。
  論文  参考訳（メタデータ） (2023-09-27T20:42:02Z)
• DR-Label: Improving GNN Models for Catalysis Systems by Label Deconstruction and Reconstruction [72.20024514713633]
  本稿では,新しいグラフニューラルネットワーク(GNN)と予測戦略DR-Labelを提案する。 この戦略は、監視信号を強化し、エッジ表現における解の多重度を低減し、ノード予測を堅牢にすることを促す。 DR-Labelは3つの根本的に異なるモデルに適用され、それぞれが一貫した性能向上を示した。
  論文  参考訳（メタデータ） (2023-03-06T04:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。