論文の概要: Keeping JEPA World Models Plannable When Little of the Frame Moves

• arxiv url: http://arxiv.org/abs/2610.03137v1
• Date: Fri, 02 Oct 2026 11:02:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.339568
• Title: Keeping JEPA World Models Plannable When Little of the Frame Moves
• Title（参考訳）: フレームが少し動くとJEPAの世界モデルを計画できる
• Abstract要約: 私たちは、いくつかの小さなオブジェクトと、同じシーンで視覚と言語の目標をペアにしたプッシュベンチマークを構築します。 SLIMでは、PushTを解くLeWMワールドモデルが1%未満のトライアルで成功するが、シミュレータ状態のスクリプトコントローラはすべての階層を解決している。 1つの逆力学補助損失は、エンコーダの潜伏剤やテスト時に捨てられた共有ヘッドを介して予測潜伏剤に適用され、全てのプローブを復元し、0.003から0.35に成功させる。
• 参考スコア（独自算出の注目度）: 3.0596841380740902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Specifying a goal in language rather than as a goal frame is a natural interface for planning with a latent world model, but testing it needs scenes in which language must discriminate between several objects. We build SLIM, a pushing benchmark with several small objects and paired visual and language goals on identical scenes. On SLIM a LeWM world model that solves PushT succeeds on under 1% of trials, although a scripted controller with simulator state solves every tier. Probes locate the failure in the encoder: its latent is nearly action-insensitive, neither pusher nor object positions can be decoded from it, and rollouts are no better than copying the current latent forward. One inverse-dynamics auxiliary loss, applied to encoder latents and to predicted latents through a shared head discarded at test time, restores every probe and raises success from 0.003 to 0.35 (0.16 on the hard pushing tier, where a goal-agnostic policy scores zero), and improves PushT at twice the trained horizon. Controls attribute the repair to the gradient into the encoder, and a response sweep shows that the vanilla model plans once enough of the frame responds to actions. A cheap action-sensitivity probe, computable without environment access, acts as an empirical necessary condition: all configurations below its threshold failed to plan. On the repaired latent, a small language-goal head plans from sentences without retraining the world model: it reaches 0.84 on navigation (visual-goal oracle 1.00), follows the named zone when it is swapped with a decoy, and degrades gracefully to unseen nouns. A single goal sentence rarely completes a push, but given the push as a sequence of stage sentences the head raises success on the medium and hard pushing tiers from 0.04 to 0.25, on par with the goal-frame oracle, also when the switch between stages is read from the latent alone.
• Abstract（参考訳）: ゴールフレームではなく言語でゴールを指定することは、潜在世界モデルで計画するための自然なインターフェースであるが、テストするためには、言語が複数のオブジェクトを区別しなければならないシーンが必要である。 SLIMは、複数の小さなオブジェクトと、同じシーンで視覚的および言語的目標をペアリングしたプッシュベンチマークです。 SLIMでは、PushTを解くLeWMワールドモデルが1%未満のトライアルで成功するが、シミュレータ状態のスクリプトコントローラはすべての階層を解決している。 プローブはエンコーダの故障を検知する:潜水剤はほぼ動作に敏感であり、プッシュ器もオブジェクト位置もデコードできず、ロールアウトは現在の潜水剤を前方にコピーするのと同等である。 1つの逆力学補助損失はエンコーダ潜水器に適用され、テスト時に廃棄された共有ヘッドを介して潜水器を予測し、全てのプローブを復元し、0.003から0.35(ゴールに依存しないポリシーがゼロとなるハードプッシュ層で0.16)に成功し、訓練された地平線でPushTを2倍改善する。 制御は、エンコーダへの勾配の修正に起因し、応答スイープは、バニラモデルがフレームの十分な数の計画を立てると、アクションに応答することを示している。 環境アクセスなしで計算できる安価なアクション感度プローブは、経験的な必要条件として機能する。 修復された潜伏語では、世界モデルを再訓練せずに文から小さな言語ゴールの頭が計画され、ナビゲーション(視覚ゴールのオラクル1.00)で0.84に到達し、デコイと入れ替わるときに命名されたゾーンを辿り、見知らぬ名詞に優雅に分解する。 単一のゴール文がプッシュを完了することはめったにないが、ステップ文のシーケンスとしてプッシュされると、ヘッドは中程度で成功し、ゴールフレームのオラクルと同等のハードプッシュ層が0.04から0.25に上昇する。

関連論文リスト

• SAGE: Symbolic Action-Gating and Editing for LLM Task Planners [0.0]
  SAGE(Symbolic Action-Gating and Editing)は,2つの軽量メカニズムから構築された単一LLMプランナである。 ドメインに依存しないシンボルゲートは、実行時安全モニタとしてタイプされた理由により、事前条件違反行為をブロックする。 ローカルな編集は失敗したサブゴールの接尾辞のみを再生し、完了し、未修正の作業をそのまま維持する。
  論文  参考訳（メタデータ） (2026-09-28T04:17:55Z)
• Behavior--Realization Separation for Constrained Physical Human--Robot Interaction [0.0]
  本稿では, メモリレスアフィン挙動を実現するリテーディングホライズン二次プログラムを実装した。 MuJoCoのトルク制御 7-DOF Franka FR3 では、実行時が解決するごとにタスク空間のダイナミクスを凍結し、水平方向にトルクの実現性を強制する。
  論文  参考訳（メタデータ） (2026-09-01T03:46:05Z)
• Does Latent Planning Survive Point Clouds? Action-Conditioned JEPA World Models for Geometric Observations [0.0]
  JEPAワールドモデルは、ラテントスペースを制御するための実用的なルートにします。 0.3-15%のシーンポイントが移動し,3次元自己監督の幾何学的ショートカットによる潜伏予測化合物の時間的最適度が向上した。 標準的なJEPA設計を3つ挙げて、クラウド、フリーズエンコーダ、分散プライア、アクションセンシティブ、および安定なワールドモデルベンチマークを再センスします。
  論文  参考訳（メタデータ） (2026-08-29T20:41:41Z)
• ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies [0.576537956677604]
  本稿では,凍結したDINOv3バックボーン上の因果変換器であるValueFormerを紹介する。 障害エピソードには、障害ステージ前の成功曲線を保存するステージ認識、成功テーマデカイリターンとラベル付けされ、単一の障害時間ではなく、ミス間隔から検出が監視される。
  論文  参考訳（メタデータ） (2026-08-03T23:46:39Z)
• Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
  大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。 小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。 本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
  論文  参考訳（メタデータ） (2026-07-19T15:01:35Z)
• More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
  対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。 トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。 明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
  論文  参考訳（メタデータ） (2026-07-10T10:35:24Z)
• Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
  Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。 独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。 Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
  論文  参考訳（メタデータ） (2026-06-11T17:48:38Z)
• Imagine2Real: Towards Zero-shot Humanoid-Object Interaction via Video Generative Priors [51.096845970243855]
  高忠実度3Dデータの不足により,全体Humanoid-Object Interaction (HOI) がボトルネックとなる。 本研究では,ゼロショットHOIフレームワークであるImagine2Realを提案する。
  論文  参考訳（メタデータ） (2026-05-21T10:15:39Z)
• LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels [49.35636088613484]
  JEPA(Joint Embedding Predictive Architectures)は、コンパクトな潜在空間で世界モデルを学習するための魅力的なフレームワークを提供する。 最初のJEPAであるLeModelWorldを紹介します。 数時間で1つのGPU上で15万のパラメータをトレーニングできるため、LeWMはファンデーションモデルベースの世界モデルよりも48倍高速に計画している。
  論文  参考訳（メタデータ） (2026-03-13T19:48:14Z)
• Detect Anything via Next Point Prediction [51.55967987350882]
  Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。 COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
  論文  参考訳（メタデータ） (2025-10-14T17:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。