論文の概要: MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space
- arxiv url: http://arxiv.org/abs/2609.23881v1
- Date: Sun, 20 Sep 2026 21:32:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.012573
- Title: MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space
- Title（参考訳）: MotionJEPA: 潜在空間における視覚的変化を捉えることで、時間的特徴の崩壊を防ぐ
- Abstract要約: JEPA(Joint Embedding Predictive Architectures)は、視覚的再構成なしにタスクに依存しない潜在的世界モデルを学ぶための、有望なパラダイムである。
逆型モジュール上に構築された新しい正規化器であるDISReg(DISReg)について述べる。
我々は新しいアーキテクチャ、MotionJEPAを構築し、他の手法よりも完全な表現を生成する。
- 参考スコア（独自算出の注目度）: 64.18134795165575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Joint Embedding Predictive Architectures (JEPAs) are a promising paradigm for learning task-agnostic latent world models without visual reconstruction. However, standard JEPA training exhibits a strong inductive bias towards slow features, causing feature suppression and the collapse of latent representation. While inverse dynamics provides temporal anti-collapse, it relies on action labels and offers little incentive to embed general, unlabeled dynamics. We introduce Difference Image and Single image embedding Regularization (DISReg), a novel regularizer that builds on an inverse-dynamics-style module that predicts temporal difference image embeddings without any pixel reconstruction loss, encouraging balanced static and dynamic feature learning. DISReg consists of a static term that shapes the distribution of the image embedding and encourages slow features, and a dynamic term, which, unlike direct regularization on the embedding, imposes no constraint on the image embedding's shape or distribution and instead only incentivizes that dynamic features be present. By integrating this regularizer into a standard JEPA, we establish our new architecture, MotionJEPA. Latent probing demonstrates that MotionJEPA produces more complete representations than other methods, and our trajectory analysis shows it maintains geometrically simple latent embeddings with low curvature. We further show that MotionJEPA improves downstream planning success under static-background distractors across four environments.
- Abstract（参考訳）: JEPA(Joint Embedding Predictive Architectures)は、視覚的再構成なしにタスクに依存しない潜在的世界モデルを学ぶための、有望なパラダイムである。
しかし、標準JEPAトレーニングは、遅い機能に対して強い帰納的バイアスを示し、機能抑制と遅延表現の崩壊を引き起こす。
逆ダイナミクスは時間的反崩壊をもたらすが、アクションラベルに依存し、一般的な、ラベルなしのダイナミクスを埋め込むインセンティブはほとんどない。
画像の差分像と単像埋め込み正規化(DISReg)を導入する。これは逆力学スタイルのモジュール上に構築され、画素再構成損失を伴わずに時間差画像埋め込みを予測し、バランスの取れた静的および動的特徴学習を促進する。
DISRegは、画像埋め込みの分布を形作り、遅い特徴を促進する静的な用語と、埋め込みの直接正規化とは異なり、画像埋め込みの形状や分布に制約を課さず、ダイナミックな特徴が存在することを動機づけるダイナミックな用語からなる。
このレギュレータを標準JEPAに統合することで、新しいアーキテクチャであるMotionJEPAを確立します。
遅延探索により,MotionJEPAは他の手法よりも完全な表現が得られ,軌道解析により幾何学的に単純な潜伏埋め込みを低曲率で維持できることが示された。
また,MotionJEPAは4つの環境にまたがるスタティックバックグラウンド・イントラクタの下で,下流計画の成功を向上することを示す。
関連論文リスト
- Semigroup-JEPA: Latent Dynamics Consistency for Zero-Shot Physics Generalization [32.65135632960651]
JEPA(Joint-Embedding Predictive Architecture)の世界モデルは、予測と計画をサポートする世界のコンパクトな潜在表現を学ぶ。
物理制御パラメータを時間モデルに供給することにより,LeWorldModelフレームワークを拡張したSemiGroup-JEPAを提案する。
我々は、同じ物理法則に従うにもかかわらず、定性的に異なる力学を示す異なる重力場の下で動的タスクを設計する。
論文 参考訳（メタデータ） (2026-09-09T17:08:13Z) - Flow-JEPA: Flow Matching for Robust Latent Dynamics in JEPA World Models [18.035166689862205]
JEPA(Joint-Embedding Predictive Architectures)は、コンパクトな予測表現を学習する強力な可能性を示している。
本研究では,現在の観測と動作を条件とした将来の潜伏状態列を共同生成する条件付き流れマッチング力学モデルであるFlow-JEPAを提案する。
論文 参考訳（メタデータ） (2026-08-29T03:40:06Z) - UniJEPA: A Unified Joint-Embedding Predictive Architecture for Task-Agnostic Visual World Modeling [24.745715007832953]
JEPA(Joint-Embedding Predictive Architectures)は、コンパクトな潜在空間における世界モデルの自己教師型学習のためのフレームワークとして登場した。
我々は,光度予測(画像レベルの変換)と時間的予測(映像レベルの次状態ダイナミクス)を協調的に学習する統合JEPAであるUniJEPAを提案する。
論文 参考訳（メタデータ） (2026-08-07T16:55:58Z) - Local Epistemic Uncertainty Guided Active Sampling for Plug-and-play Diffusive Image Restoration [15.371827475537776]
局所的不確実性ガイド型アクティブサンプリングフレームワークを開発した。
空間領域における細部保存とアーティファクトの抑制のバランスをとる。
メモリオーバーヘッドを無視してサンプリング時間を短縮する。
論文 参考訳（メタデータ） (2026-08-07T09:00:20Z) - Sensorimotor World Models: Perception for Action via Inverse Dynamics [59.121736411156384]
Inverse dynamics regularization で訓練されたエンド・ツー・エンドのセンサモレータ・ワールドモデルを導入する。
表現の崩壊を防ぎ、アクション整列表現を誘導する。
コンパクトで解釈可能な潜在空間を学習し、単純な2Dおよび3D制御タスク間の競合計画性能を実現する。
論文 参考訳（メタデータ） (2026-06-18T11:25:16Z) - Self-supervised Dynamic Heterogeneous Degradation Modeling for Unified Zero-Shot Image Restoration [36.68260793473452]
ゼロショット画像復元は、タスク固有のトレーニングなしで多様な劣化を処理する柔軟な方法を提供する。
異種劣化を均一なオールインワン分布に明示的にモデル化する物理ゼロショット画像復元フレームワークを提案する。
本手法は, 単品と混合品のいずれにおいても, 最先端性能を実現する。
論文 参考訳（メタデータ） (2026-05-23T14:08:23Z) - SoLAR: Error-Resilient Streamable Long-Horizon Free-Viewpoint Video Reconstruction with Anchor Activation and Latent Recalibration [57.159190580279585]
ビット割り当て理論により、速度歪み最適化フレームワーク内で動的アンカーベースのボリュームビデオ表現を解析する。
我々は,長いシーケンスの復元品質を安定的に維持する,エラー回復性の最初のFVVフレームワークである textbfSoLAR を提案する。
論文 参考訳（メタデータ） (2026-05-08T06:48:59Z) - Eulerian Motion Guidance: Robust Image Animation via Bidirectional Geometric Consistency [74.90075313101933]
本稿では、より局所的な監視設計により、同じ光フロープリミティブを再考する。
我々は隣接フレームのユーレアン運動場を用いて生成を誘導し、そこでは運動信号が常に短い時間ホップを記述する。
隣接するフレーム生成に共通するドリフトアーティファクトを軽減するために,双方向幾何整合機構を導入する。
論文 参考訳（メタデータ） (2026-05-07T13:53:31Z) - All-in-One Video Restoration under Smoothly Evolving Unknown Weather Degradations [102.94052335735326]
All-in-one画像復元は、単一のモデルを用いて、さまざまな未知の劣化からクリーンなイメージを復元することを目的としている。
既存のアプローチは主に、現実世界の劣化過程に自然に存在する時間的連続性を見越して、フレームワイドの劣化変動に焦点を当てている。
Smoothly Evolving Unknown Degradations (SEUD) のシナリオでは、アクティブな劣化セットと劣化強度の両方が時間とともに連続的に変化する。
論文 参考訳（メタデータ） (2026-01-02T02:20:57Z) - Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。
本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。
我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
論文 参考訳（メタデータ） (2024-05-24T15:56:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。