論文の概要: Do-JEPA: From Masking to Intervention in Latent World Models
- arxiv url: http://arxiv.org/abs/2609.37378v1
- Date: Tue, 29 Sep 2026 12:31:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.486671
- Title: Do-JEPA: From Masking to Intervention in Latent World Models
- Title（参考訳）: Do-JEPA: マスキングからインターベンションへ : 後期世界のモデル
- Abstract要約: 我々は、C-JEPAのようなオブジェクトマスキングモデルが予測器に何が見えるかに介入していることを示し、物理的に何が起こるかに介入する。
結果は、モデルが見ているものではなく、世界への介入が、潜在する世界モデルがその行動の原因を予測するのに役立つことを示している。
- 参考スコア（独自算出の注目度）: 14.785740705591094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent world models are trained to predict what happens next, so nothing in their objective separates what an action caused from what merely co-occurred with it. Object-masking models such as C-JEPA intervene on what the predictor can see; we intervene on what physically happens. From one saved simulator state we run the dynamics under an action $a$ and under a reference action $a_{\varnothing}$, and train the model to predict the difference $Δz=z^{a}-z^{a_{\varnothing}}$ between the two latent futures. The resulting objective, Do-JEPA, has an effect loss, a support loss (where the action enters), a propagation loss (where its effect travels) and invariance losses (what must not change). In a synthetic system with object-aligned variables, support supervision finds the directly intervened object in 99.95% of test cases, where a sparse action mask sends the action to a nuisance slot in every case, and response-onset supervision recovers the ring-shaped propagation graph (edge AUROC 0.975 vs. 0.624). From pixels, the effect loss beats a control trained on exactly the same data: it lowers latent effect error by 28.4% on an end-to-end LeWM model and physical effect error by 13.5% when trained and tested on natural action sequences, and on three independently generated CausalWorld benchmarks it lowers responsive effect error by about 20% under physics shifts and the latent context sensitivity of predicted effects by 66%. Trained from scratch it costs factual accuracy; fine-tuning an existing model with it removes this cost. Together, these results show that intervening on the world, rather than on what the model sees, helps latent world models predict what their actions cause.
- Abstract（参考訳）: 潜在世界モデルは次に何が起こるかを予測するために訓練されているので、その目的には何のアクションが引き起こされたのかを区別するものではない。
C-JEPAのようなオブジェクトマスキングモデルは、予測者が何を見るかに介入し、物理的に何が起こるかに介入する。
1つの保存されたシミュレータ状態から、アクション$a$と参照アクション$a_{\varnothing}$の下で、ダイナミックスを実行し、モデルに$Δz=z^{a}-z^{a_{\varnothing}} の差を予測するようにトレーニングします。
結果として得られる目的であるDo-JEPAは、効果損失、支持損失(アクションが入る場所)、伝播損失(効果が移動する場所)、不分散損失(変化してはいけないもの)を持っている。
オブジェクト整列変数を持つ合成システムにおいて、サポート管理者は、テストケースの99.95%において、スパースアクションマスクが各ケースにおいてニュアンススロットにアクションを送り、応答オンセット監視がリング状の伝播グラフ(edge AUROC 0.975 vs. 0.624)を復元する。
結果損失は、同じデータに基づいてトレーニングされたコントロールを破る: エンドツーエンドのLeWMモデルでは潜時効果誤差を28.4%減少し、自然なアクションシーケンスでトレーニングおよびテストされた場合では物理効果エラーを13.5%減少させ、3つの独立に生成されたCausalWorldベンチマークでは、物理シフトの下でレスポンス効果エラーを約20%減少させ、予測された効果の潜在コンテキスト感度を66%低下させる。
ゼロからトレーニングすることで、実際の正確さを犠牲にします。
これらの結果は、モデルが見ているものではなく、世界への介入が、潜在する世界モデルがその行動の原因を予測するのに役立つことを示している。
関連論文リスト
- Beyond One-Step Accuracy: State-Affine Latent Transition for Reliable Visual Planning [53.476598858325985]
複数ステップのロールアウトエラーを個々のステップで導入したエラーに分解し,その後の遷移を通した伝播を行う。
状態-アフィンダイナミクスは、状態非依存のヤコビアンとの微分可能遷移であることを示す。
動作条件付き状態-アフィンダイナミクスモデルであるSALTを導入し、動作が状態変換と追加更新の両方を変調する。
論文 参考訳（メタデータ） (2026-09-27T14:12:27Z) - Learning Counterfactual World Models for Embodied Reasoning under Partial Observability [0.562873332680314]
世界モデルは予測力学を一度学習し、推論し、計画し、行動することを約束します。
このようなモデルの下の表現は、大規模ビデオ、インタラクション、マルチモーダルコーパスで事前訓練されている。
モデルは視覚的に妥当な未来を予測し、異なる行動結果の介入を区別できない。
論文 参考訳（メタデータ） (2026-09-05T02:56:47Z) - GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
論文 参考訳（メタデータ） (2026-09-04T17:16:48Z) - Overcoming Statistical Bias in Action-Controllable World Models [18.890337378174678]
アクション条件付き世界モデルは、エージェントのアクションの下で視覚環境がどのように進化するかを予測することを目的としている。
将来のフレームは、しばしば視覚的慣性や反復的な動きパターンから非常に予測可能である。
アクション制御性を高めるために,CoCoという対実整合性フレームワークを紹介した。
論文 参考訳（メタデータ） (2026-08-05T10:10:36Z) - Sensorimotor World Models: Perception for Action via Inverse Dynamics [59.121736411156384]
Inverse dynamics regularization で訓練されたエンド・ツー・エンドのセンサモレータ・ワールドモデルを導入する。
表現の崩壊を防ぎ、アクション整列表現を誘導する。
コンパクトで解釈可能な潜在空間を学習し、単純な2Dおよび3D制御タスク間の競合計画性能を実現する。
論文 参考訳（メタデータ） (2026-06-18T11:25:16Z) - Feedback World Model Enables Precise Guidance of Diffusion Policy [36.965417653906535]
本稿では,推定時刻における予測と観測のループを閉じる新たなパラダイムであるフィードバック・ワールド・モデルを提案する。
本手法は,分布シフト時の予測精度とポリシー性能を大幅に向上することを示す。
特に、世界モデルの予測誤差を最大76.4%削減し、アウト・オブ・ディストリビューション(OOD)の成功率を30%改善する。
論文 参考訳（メタデータ） (2026-05-15T07:52:13Z) - When World Models Dream Wrong: Physical-Conditioned Adversarial Attacks against World Models [54.08784776767683]
本稿では,物理条件を乱す最初のホワイトボックス世界モデルアタックであるPhysCond-WMA(PhysCond-WMA)を提案する。
PhysCond-WMAは知覚の忠実さを維持しながら意味、論理、決定レベルの歪みを引き起こす。
論文 参考訳（メタデータ） (2026-02-21T07:22:37Z) - Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。
本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2025-04-20T09:07:10Z) - Counterfactual Influence in Markov Decision Processes [6.108525913338264]
対実的および介入的分布の比較に基づく影響の形式的特徴化を導入する。
我々は、与えられた報酬構造に最適であるだけでなく、観察された経路に合わせて調整された反事実政策を導出する。
論文 参考訳（メタデータ） (2024-02-13T15:10:30Z) - Zero-shot causal learning [64.9368337542558]
CaMLは因果メタラーニングフレームワークであり、各介入の効果をタスクとしてパーソナライズした予測を定式化する。
トレーニング時に存在しない新規介入のパーソナライズされた効果を予測することができることを示す。
論文 参考訳（メタデータ） (2023-01-28T20:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。