論文の概要: SWIM: Learning What Matters from Behaviors for JEPA World Models

• arxiv url: http://arxiv.org/abs/2610.36662v1
• Date: Tue, 27 Oct 2026 05:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.487819
• Title: SWIM: Learning What Matters from Behaviors for JEPA World Models
• Title（参考訳）: SWIM:JEPAワールドモデルにおける行動から重要なことを学ぶ
• Abstract要約: オフライン軌道から状態重みを学習するSWIM(State Weighting with Inverse-Dynamics Model)を提案する。 SWIMは、均一な州重み付けよりも計画の成功を継続的に改善することを示す。 逆力学モデルはトレーニング時にのみ使用されるので、結果として得られる世界モデルは、追加の計画時間計算なしで画像から計画される。
• 参考スコア（独自算出の注目度）: 45.571017007572145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint-embedding predictive architectures (JEPAs) enable world models to plan from images by predicting future embeddings. However, their visual prediction objectives do not explicitly incorporate task-relevant state information, so the physical state that determines task progress may not be reliably captured in the latent space. Supervising world models with simulator state can make planning more informative, but it requires deciding which state features matter. Features are typically selected by hand or weighted uniformly, and a uniform weighting gives every standardized state feature equal influence, so redundant coordinates can overcount the same variation, while irrelevant ones can obscure task-relevant differences. To address this limitation, we propose SWIM (State Weighting with Inverse-Dynamics Model), which learns state weights from offline trajectories by predicting recorded actions from current states and observed future displacements. The learned weights quantify each feature's contribution to action prediction and define a weighted state metric for state-supervised training, which we demonstrate by aligning latent and state distances. The inverse-dynamics model is used only during training, so the resulting world model plans from images with no additional planning-time computation. Across five simulated robotic manipulation tasks, SWIM consistently improves planning success over uniform state weighting.
• Abstract（参考訳）: 共同埋め込み予測アーキテクチャ(JEPA)は、将来の埋め込みを予測することで、世界モデルをイメージから計画することができる。 しかし、それらの視覚的予測対象は、タスク関連状態情報を明示的に含まないため、タスクの進捗を決定する物理状態は、潜在空間において確実に捕捉されない可能性がある。 シミュレーション状態を持つ世界モデルを監督することは、計画をより有益なものにするが、どの状態の特徴が重要かを判断する必要がある。 特徴は通常手動または重み付けで選択され、一様重み付けはすべての標準状態の特徴に等しい影響を与えるため、冗長座標は同じバリエーションをオーバーカウントでき、非関連座標はタスク関連の違いを曖昧にすることができる。 この制限に対処するため、SWIM(State Weighting with Inverse-Dynamics Model)を提案する。 学習した重みは、各特徴の行動予測への貢献を定量化し、状態教師付きトレーニングのための重み付き状態メートル法を定義する。 逆力学モデルはトレーニング時にのみ使用されるので、結果として得られる世界モデルは、追加の計画時間計算なしで画像から計画される。 シミュレーションされた5つのロボット操作タスクの中で、SWIMは均一な状態重み付けよりも計画の成功を継続的に改善する。

関連論文リスト

• MORE: Learning Motion-Oriented Registers for Driving World Models and Planning [32.827078841452604]
  潜在世界モデルは、エンド・ツー・エンド・ドライブのためのリッチ・セルフ・スーパービジョンを提供するが、事前訓練されたビジュアル・エンコーダの密集した機能をワールド・ステート・インタフェースとして継承することが多い。 視覚的事前学習は情報豊かで空間的に密集した特徴を生み出すが、動作条件付き世界モデリングや計画への適応は下流の訓練に委ねられる。 ビデオ事前学習は、継承された視覚的特徴に適応するために下流のトレーニングに頼るのではなく、下流の世界モデリングと計画に適した状態表現を直接学習すべきである、と我々は主張する。
  論文  参考訳（メタデータ） (2026-10-10T12:43:06Z)
• Unifying Policy Learning and State Prediction through Spatial Language Modeling [52.172884936392535]
  本研究では,シーンの輪郭,目標,行動目標,将来の状態を個別座標と意味トークンの共通語彙で表現する空間言語モデリングを提案する。 タスク固有の文法はこれらの要素を空間配列に整理し、1つの自己回帰変換器が行動生成と行動条件付き状態予測を学習できるようにする。 ランダム・プレイ・トランジション・プレトレーニングを駆使してモデルをスクラッチからトレーニングし、その後、専門家によるデモンストレーションで共同動作と状態トレーニングを行う。
  論文  参考訳（メタデータ） (2026-10-08T15:43:08Z)
• CAER: Causal Action Effect Reweighting for World Model Training [31.737118584204342]
  本稿では,その行動に因果的に影響される可能性のあるトークンに対する監督を再分配する訓練パラダイムであるCausal Action Effect Reweighting(CAER)を紹介する。 CAERは、モデル自身の予測とアクション条件なしでこれらのトークンをオンラインにローカライズし、結果のエフェクトマップを、合計係数の質量を保存する重みに正規化し、使用される場所だけを変える。 不均一なアクション条件付きワールドモデルタスクによる実験により、CAERは一様MSEトレーニングよりも優れたソリューションに収束し、生成したビデオの物理的一貫性、制御性、視覚的品質が一貫した改善が得られた。
  論文  参考訳（メタデータ） (2026-08-31T14:49:56Z)
• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• VisualPatchWorld: Code World Models as Latent Structured Representations for Planning [8.39933163242427]
  我々は,世界ダイナミクスをコードとして表現したVisualPatchWorld (VPW)を紹介した。 VPWはまず、短いアクティブプローブを持つ定性的な動的形式を選択し、その後、記録された状態-作用トレースからその形式の自由パラメータに適合する。 VPWは69.0%の平均的な計画成功率に達し、最強のコードベースラインを23.5ポイント越えている。
  論文  参考訳（メタデータ） (2026-07-28T03:23:47Z)
• From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence [54.62791372989525]
  アクションモデル、ビジョン言語-アクションポリシー、世界モデルは、この目標を前進させた。 世界行動モデル(WAM)は、候補者の介入と予測された結果とを結びつけるため、特に有望である。 我々は、WAMへの進化をレビューし、これらの制限をモデルの役割と表現、目的と標準化、システム構成という3つの組み合わせのギャップにまとめる。
  論文  参考訳（メタデータ） (2026-07-13T15:22:56Z)
• Sensorimotor World Models: Perception for Action via Inverse Dynamics [59.121736411156384]
  Inverse dynamics regularization で訓練されたエンド・ツー・エンドのセンサモレータ・ワールドモデルを導入する。 表現の崩壊を防ぎ、アクション整列表現を誘導する。 コンパクトで解釈可能な潜在空間を学習し、単純な2Dおよび3D制御タスク間の競合計画性能を実現する。
  論文  参考訳（メタデータ） (2026-06-18T11:25:16Z)
• Learning Coordinated Bimanual Manipulation Policies using State Diffusion and Inverse Dynamics Models [22.826115023573205]
  我々は人間の操作戦略の予測的性質をロボット模倣学習に注入する。 我々は,将来の状態を予測し,予測状態を達成するロボット動作を計算するために拡散モデルを訓練する。 我々のフレームワークは、常に最先端のステート・ツー・アクション・マッピングポリシーを上回ります。
  論文  参考訳（メタデータ） (2025-03-30T01:25:35Z)
• Learning Models as Functionals of Signed-Distance Fields for Manipulation Planning [51.74463056899926]
  本研究では,シーン内のオブジェクトを表す符号付き距離場の目的を学習する,最適化に基づく操作計画フレームワークを提案する。 オブジェクトを符号付き距離場として表現することは、ポイントクラウドや占有率の表現よりも高い精度で、様々なモデルの学習と表現を可能にする。
  論文  参考訳（メタデータ） (2021-10-02T12:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。