論文の概要: Slot-JEPA: Object-Structured Prediction Interfaces for Latent World Models
- arxiv url: http://arxiv.org/abs/2610.28074v1
- Date: Tue, 20 Oct 2026 11:53:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.795779
- Title: Slot-JEPA: Object-Structured Prediction Interfaces for Latent World Models
- Title(参考訳): Slot-JEPA:潜在世界モデルのためのオブジェクト構造化予測インタフェース
- Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は、強力なセマンティックな表現を提供する。
複雑なパッチ表現は、下流の予測子に冗長なインターフェースを公開します。
本研究では,SlotをベースとしたJEPAを提案し,密度表現を安定な意味スロットと時間変化空間マスクに分解する。
- 参考スコア(独自算出の注目度): 80.11634121162041
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a prototypical latent world model, Joint-Embedding Predictive Architectures (JEPAs) provide strong semantic representations. However, dense patch representations expose a redundant interface to downstream predictors, which must implicitly infer spatial organization and temporal correspondence, presenting three challenges. First, object information is distributed across patches, forcing each downstream predictor to redundantly recover object structure that could otherwise be reused across tasks before modeling interactions. Second, the lack of explicit entity correspondence across time makes historical transitions expensive, restricting the predictor's flexibility in utilizing context. Third, without explicit transport structure, existing JEPA models typically use pointwise l1/l2 distances, which are insensitive to spatial displacement when predicted and goal supports are largely disjoint. We propose the Slot-based Joint-Embedding Predictive Architecture (Slot-JEPA), which decomposes dense representations into stable semantic slots and time-varying spatial masks. Pretrained once and frozen downstream, this decomposition exposes a reusable object-structured interface. Building on it, our Transition Memory Predictor (TMP) stores visual transitions as compact masks and retrieves useful context using statistics of corresponding slots. Its two branches separate slot-specific dynamics from shared cross-slot dynamics. We further use Unbalanced Optimal Transport (UOT) to supervise mask prediction and evaluate candidate plans by transporting mass between aligned predicted and goal masks, providing a signal better aligned with spatial progress. Across seven visual-understanding benchmarks, the slot-reconstructed features remain transferable. Slot-JEPA also improves goal-conditioned planning across six planar environments and four robotic arm planning tasks on the REALM-JEPA benchmark.
- Abstract(参考訳): 原型的潜在世界モデルとして、JEPA(Joint-Embedding Predictive Architectures)は強力な意味表現を提供する。
しかし、密度の高いパッチ表現は下流の予測者に冗長なインターフェースを公開し、空間的構造と時間的対応を暗黙的に推測し、3つの課題を提示する必要がある。
まず、オブジェクト情報はパッチにまたがって分散され、各下流予測器は、相互作用をモデル化する前にタスク間で再利用できるオブジェクト構造を冗長にリカバリせざるを得ない。
第二に、時間にわたって明示的な実体対応が欠如しているため、歴史的移行は高価になり、コンテキストを利用する際の予測者の柔軟性が制限される。
第3に、明示的な輸送構造を持たず、既存のJEPAモデルは、通常、点方向のl1/l2距離を使用する。
本研究では,Slot-Embedding Predictive Architecture (Slot-JEPA)を提案する。
一度トレーニングされ、下流で凍結されたこの分解は、再利用可能なオブジェクト構造インターフェースを公開する。
その上に、我々のトランジションメモリ予測器(TMP)は、視覚遷移をコンパクトマスクとして格納し、対応するスロットの統計を用いて有用なコンテキストを検索する。
2つの分岐は、スロット固有のダイナミクスと共有スロットのダイナミックスを分離する。
さらに、マスク予測を監督し、予測されたマスクと目標マスクの間に質量を移動させることにより候補計画を評価するために、不均衡最適輸送(UOT)を用いる。
7つのビジュアルなベンチマークで、スロット再構成された機能は転送可能のままである。
Slot-JEPAはまた、REALM-JEPAベンチマークの6つの計画環境と4つのロボットアーム計画タスクにおける目標条件プランニングを改善している。
関連論文リスト
- $M^2Net$: Unifying Scale-Specific Structures and Prototype Decomposition for Spatial-Temporal Forecasting [62.414974731333295]
我々は、スケール固有の構造学習と意味分解を統合するために、$M2Net$という新しいフレームワークを提案する。
M2Net$は、広範な経験的検証において最先端のベースラインを上回っます。
論文 参考訳(メタデータ) (2026-10-17T07:24:57Z) - COMPASS: Contextual Moment Prior Alignment for Generalizable AIGI Detection [87.91469665365304]
一般化可能なAI生成画像(AIGI)とディープフェイク検出は、非対称性現象のため難しいままである。
最近の部分空間適応法は、残留部分空間を適応させながら高次主成分を凍結することによりこの問題を軽減する。
本稿では,小さなSemantic Proxy Setを用いて,ターゲットのアクティベーション統計を推定するデータ認識サブスペース適応フレームワークを提案する。
論文 参考訳(メタデータ) (2026-10-13T09:23:12Z) - T-JEPA: A Temporal Joint-Embedding Predictive Architecture for Learning Better Remote Sensing Representations [32.138976346875445]
本稿では,時間ギャップ条件付き潜時遷移を学習する時間的共同埋め込み予測アーキテクチャT-JEPAを提案する。
複数の時間間隔にわたって、これらの予測的制約は観測された状態を構造化された潜在軌道に整理する。
一致した事前トレーニングデータとスループットの下で、T-JEPAは静的タスクと時間的タスクの両方で転送パフォーマンスをリードする。
論文 参考訳(メタデータ) (2026-10-05T03:31:44Z) - Scene Retargeting: Learning Object Placement with Analogical Transfer [24.448498891057582]
我々は,シーン・リターゲティングを,レイアウト間のセマンティック・コヒーレントな空間構造を安定的に伝達するものとして定式化する。
我々は,基礎的特徴の空間分布を尊重することで,個々のクラスタのリッチな意味的コンテキストの保存を最適化する。
本フレームワークは,3D-FRONTデータセットのレイアウト生成における最先端手法より優れている。
論文 参考訳(メタデータ) (2026-09-29T06:14:26Z) - Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。
そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。
制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
論文 参考訳(メタデータ) (2026-08-20T13:59:57Z) - BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning [0.0]
BiJEPAは、データセグメント間のサイクル一貫性予測を強制する。
合成周期信号,カオス的ロレンツ誘導軌道,高次元画像データという3つの異なるモードでBiJEPAを評価した。
論文 参考訳(メタデータ) (2026-02-10T01:16:20Z) - OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。
OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。
最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文 参考訳(メタデータ) (2024-09-14T07:44:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。