論文の概要: Inside-JEPA: From Prediction to Relational Grounding in Latent World Models
- arxiv url: http://arxiv.org/abs/2610.31194v1
- Date: Thu, 22 Oct 2026 12:43:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.376355
- Title: Inside-JEPA: From Prediction to Relational Grounding in Latent World Models
- Title(参考訳): 内JEPA:潜在世界モデルにおける予測からリレーショナルグラウンドへ
- Abstract要約: 我々は、JEPA潜在状態内に順序付けられたエンティティペアのリレーショナルチャネルを配置するInside-JEPAを紹介します。
something-Something V2では、潜伏予測だけでランダムな関係ヘッドに勝る。
1段階のリレーショナルゴールでは、16チャンネルの監視された読み出しが43%のケースで65の上位5つの中で正しいアクションをランク付けしている。
- 参考スコア(独自算出の注目度): 14.785740705591094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Joint-embedding predictive architectures (JEPAs) learn world models in latent space, enabling efficient planning but leaving their states opaque. We introduce Inside-JEPA, which places relational channels for ordered entity pairs inside the JEPA latent state and shows that an inverse-dynamics loss can ground these channels without relation labels when its head reads them, either alone or as part of the full state. On Something-Something V2, latent prediction alone performs no better than a random relation head, while inverse-dynamics supervision that recovers actions from channel changes improves relational AUROC by .065-.103 across ten settings with annotated boxes, by .081 on RH20T robot episodes with held-out tasks, and by .050-.061 across five relations using off-the-shelf detection and tracking. An inverse head on entity latents decodes actions more accurately but barely improves relational grounding; shuffled labels, two label-free objectives, and action labels on only 5% of the pairs also fail to ground the channels. Given an action, predicted relational changes approach the quality of observed future relations (AUROC .599 vs .621). For one-step relational goals, a supervised readout of the 16 channels ranks the correct action among the top five of 65 in 43% of cases, compared with 24% for prediction-only latents and 17% for a frequency prior.
- Abstract(参考訳): 共同埋め込み予測アーキテクチャ(JEPA)は、潜在空間で世界モデルを学習し、効率的な計画を可能にするが、状態は不透明である。
Inside-JEPAは、JEPA潜伏状態内に順序付けられたエンティティペアのリレーショナルチャネルを配置し、頭が読み取ったとき、あるいはフル状態の一部として、リレーショナルラベルなしで、逆動的損失がこれらのチャネルを接地できることを示す。
something-Something V2では、潜伏予測だけではランダムなリレーショナルヘッドに勝るものはないが、チャネル変更からアクションを回復する逆力学の監督は、注釈付きボックス付き10設定でリレーショナルAUROCを .065-.103、保留タスク付きRH20Tロボットエピソードで .081、オフザシェルフ検出と追跡で .050-.061 を改善する。
逆ヘッドのエンティティラテントは、より正確に動作をデコードするが、リレーショナルグラウンドを改善することはほとんどない。
行動が与えられた場合、予測された関係変化は観測された将来の関係の質(AUROC .599 対 .621)に近づく。
1段階のリレーショナルゴールでは、教師付き16チャンネルの読み出しが43%のケースで65の上位5つの中で正しいアクションをランク付けし、予測のみの潜伏者では24%、前回の頻度では17%である。
関連論文リスト
- Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning [53.476598858325985]
複数ステップのロールアウトエラーを個々のステップで導入したエラーに分解し,その後の遷移を通した伝播を行う。
状態-アフィンダイナミクスは、状態非依存のヤコビアンとの微分可能遷移であることを示す。
動作条件付き状態-アフィンダイナミクスモデルであるSALTを導入し、動作が状態変換と追加更新の両方を変調する。
論文 参考訳(メタデータ) (2026-09-27T14:12:27Z) - AquaJEPA: Action-Conditioned Multimodal Predictive Representations for Underwater Robot Dynamics [0.0]
AquaJEPAは、RGBカメラ、前方のソナー、およびプロプレセプションを明示的なセンサーの有効性で融合する。
8スラスターコマンドで、将来の潜伏目標を予測します。
これは、ペアの最終的なエラーにおいて、アクション条件付き予測ベースラインの3つを著しく上回る。
論文 参考訳(メタデータ) (2026-07-31T13:11:11Z) - One Future, Every Robot: Label-Efficient Collective-State Prediction with Decentralized JEPA [0.0]
集合状態JEPAはすべてのロボットを訓練し、その歴史から同じ固定幅の潜在未来を予測する。
新たな独立レプリケーションでは、すべてのシードと評価されたスプリットの合意が改善される。
正確さは同時に向上し、全てのロボットがただ一つの予測に崩壊する非形式的な解決策を除外する。
論文 参考訳(メタデータ) (2026-07-30T16:16:08Z) - A Framework for Early Sepsis Prediction via Self-Supervised (JEPA) and Federated Representation Learning [0.0]
電子健康記録からの早期敗血症予測は、不規則なサンプリング、高い欠失、および階級不均衡によって挑戦される。
タスク認識型微調整による自己指導型事前学習は,予測地平線を横断するシャープな近点とロバストな特徴を持つことを示す。
論文 参考訳(メタデータ) (2026-07-18T07:27:04Z) - CoDMD: Copula-aware Distribution Matching Distillation for Fast Video Generation [50.353919095724315]
実世界のシナリオにおける効率的な展開の急激な需要により,ビデオ拡散モデルの蒸留が注目されている。
我々は,凍結教師とオンライン偽モデルによって既に生成されているスコア推定を再利用し,対関係行列を構成する軽量リレーショナルレギュレータであるCopula-Aware DMD(CoDMD)を提案する。
1.3Bと14BスケールのWan-2.1-T2Vモデルシリーズで、CoDMDは50ステップの教師を4ステップの学生に蒸留し、VBenchスコア84.46と84.87を達成しながら、およそ25$times$ Speed-upを達成した。
論文 参考訳(メタデータ) (2026-06-20T10:33:14Z) - UWM-JEPA: Predictive World Models That Imagine in Belief Space [0.2864713389096699]
本稿では,JEPAの世界モデルであるUnitary World Model JEPAを紹介した。
この構造はロールアウト中に関節状態スペクトルを正確に保存するため、予測器自体が表現された不確かさを解消することはできない。
JEPAの世界モデルでは、部分的な可観測性、潜伏幾何学、予測力学が重要であり、フリーズされたコンテキストエンコーディング能力だけではありません。
論文 参考訳(メタデータ) (2026-05-25T00:28:51Z) - Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。
フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。
算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
論文 参考訳(メタデータ) (2025-11-13T07:26:01Z) - LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。
我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
論文 参考訳(メタデータ) (2025-11-11T18:21:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。