論文の概要: Why and How Auxiliary Tasks Improve JEPA Representations

• arxiv url: http://arxiv.org/abs/2509.12249v1
• Date: Fri, 12 Sep 2025 05:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.64865
• Title: Why and How Auxiliary Tasks Improve JEPA Representations
• Title（参考訳）: 補助タスクがJEPA表現を改善する理由と方法
• Authors: Jiacan Yu, Siyi Chen, Mingrui Liu, Nono Horiuchi, Vladimir Braverman, Zicheng Xu, Dan Haramati, Randall Balestriero,
• Abstract要約: JEPA(Joint-Embedding Predictive Architecture)は、視覚表現学習やモデルベースRLのコンポーネントとして、ますます使われている。 本稿では,潜在力学と協調して訓練された補助回帰頭部を有する,単純で実用的なJEPA変異体の理論的特徴について述べる。
• 参考スコア（独自算出の注目度）: 41.738193511374696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architecture (JEPA) is increasingly used for visual representation learning and as a component in model-based RL, but its behavior remains poorly understood. We provide a theoretical characterization of a simple, practical JEPA variant that has an auxiliary regression head trained jointly with latent dynamics. We prove a No Unhealthy Representation Collapse theorem: in deterministic MDPs, if training drives both the latent-transition consistency loss and the auxiliary regression loss to zero, then any pair of non-equivalent observations, i.e., those that do not have the same transition dynamics or auxiliary label, must map to distinct latent representations. Thus, the auxiliary task anchors which distinctions the representation must preserve. Controlled ablations in a counting environment corroborate the theory and show that training the JEPA model jointly with the auxiliary head generates a richer representation than training them separately. Our work indicates a path to improve JEPA encoders: training them with an auxiliary function that, together with the transition dynamics, encodes the right equivalence relations.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architecture)は、視覚的表現学習やモデルベースRLの構成要素として使われることが多いが、その振舞いはいまだに理解されていない。 本稿では,潜在力学と協調して訓練された補助回帰頭部を有する,単純で実用的なJEPA変異体の理論的特徴について述べる。 決定論的 MDP において、トレーニングが潜在遷移整合性損失と補助回帰損失の両方を 0 に駆動すると、同じ遷移力学や補助ラベルを持たない任意の非等価な観測、すなわち、同じ遷移力学や補助ラベルを持たないものは、別個の潜在表現にマップしなければならない。 したがって、表現を区別する補助的なタスクアンカーは保存されなければならない。 カウント環境における制御されたアブレーションは、理論を裏付け、補助ヘッドと共同でJEPAモデルをトレーニングすることで、個別にトレーニングするよりもリッチな表現を生成することを示す。 我々の研究は、JEPAエンコーダを改善するための道を示す: 遷移力学とともに正しい等価関係をエンコードする補助関数でそれらを訓練する。

関連論文リスト

• SparseJEPA: Sparse Representation Learning of Joint Embedding Predictive Architectures [0.46040036610482665]
  JEPA(Joint Embedding Predictive Architectures)は、汎用的な表現を学ぶための強力なフレームワークとして登場した。 本稿では,スパース表現学習をJEPAフレームワークに統合し,学習表現の質を高める拡張であるSparseJEPAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T02:43:00Z)
• On the Discrimination and Consistency for Exemplar-Free Class Incremental Learning [19.898602404329697]
  Exemplar-free class incremental learning (EF-CIL) は非自明なタスクであり、新しいクラスでモデル能力を継続的に強化し、古いクラスの例を保存・再生することなく、学習した知識を維持しながら、新しいクラスでモデル能力を増強する必要がある。 CILのための新たな理論誘導フレームワークは、共有ネットワークのタスク固有モデルを訓練し、忘れるプレッシャーをタスクID予測にシフトさせる。 EF-CILでは、タスク間相互作用の欠如(例:例題のリプレイ)によりタスクID予測がより困難になる。
  論文  参考訳（メタデータ） (2025-01-26T08:50:33Z)
• Deep Regression Representation Learning with Topology [57.203857643599875]
  回帰表現の有効性は,そのトポロジによってどのように影響されるかを検討する。 本稿では,特徴空間の内在次元と位相を対象空間と一致させる正則化器PH-Regを紹介する。 合成および実世界の回帰タスクの実験はPH-Regの利点を示している。
  論文  参考訳（メタデータ） (2024-04-22T06:28:41Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Return-Based Contrastive Representation Learning for Reinforcement Learning [126.7440353288838]
  そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。 アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-02-22T13:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。