論文の概要: From Pixels to Executable Physics: Behavior-Grounded World Models for Embodied Action Consequence Prediction
- arxiv url: http://arxiv.org/abs/2610.17630v1
- Date: Tue, 13 Oct 2026 02:56:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 18:05:37.030485
- Title: From Pixels to Executable Physics: Behavior-Grounded World Models for Embodied Action Consequence Prediction
- Title（参考訳）: ピクセルから実行可能物理へ:身体行動系列予測のための行動ぐるみ世界モデル
- Abstract要約: 屋外環境では、異なる地形と接触条件が同一の動作命令を発生させ、四足歩行ロボットに異なる動作結果をもたらす可能性がある。
DR-WMは、ロボットとテランの接触ダイナミクスを組み込んだ物理的に一貫した世界モデルであり、四重対作用の結果を予測する。
- 参考スコア（独自算出の注目度）: 8.863547864751707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In outdoor environments, varying terrain and contact conditions can cause identical action commands to produce different motion outcomes for quadruped robots. Predicting these outcomes is essential for reliable navigation and informed path selection. Existing video world models can generate visually plausible futures, yet often struggle to capture robot dynamics and terrain interactions, leading to overly optimistic predictions of action outcomes. We present DR-WM, a physically consistent world model that incorporates robot-terrain contact dynamics to predict the consequences of quadruped actions. Starting from an initial RGB image, our method reconstructs scene geometry and integrates dense, dimensionless priors over terrain contact properties, calibrated using real-world action-response data. The resulting terrain model supports the simulation of physics with spatially varying contact properties such as friction. Given the initial state of the robot and candidate action sequences, we simulate its future motion and use the resulting camera trajectories and rendered geometry to guide the training of a video world model. The generated future observations are then used to update the terrain reconstruction, enabling iterative model rollouts without additional real-world images. Extensive experiments demonstrate that DR-WM substantially outperforms geometry-only baselines and baselines with uniform physical parameters on key physical metrics characterizing action outcomes, while achieving the best performance among the evaluated baselines. These physically grounded predictions support more informed action selection: across 90 challenging scenarios, an 8B vision-language model augmented with DR-WM outperforms an unassisted 32B vision-language model on five of six evaluation metrics.
- Abstract（参考訳）: 屋外環境では、異なる地形と接触条件が同一の動作命令を発生させ、四足歩行ロボットに異なる動作結果をもたらす可能性がある。
これらの結果を予測することは、信頼性の高いナビゲーションと情報経路選択に不可欠である。
既存のビデオワールドモデルは、視覚的にもっとも可能な未来を生成できるが、ロボットのダイナミックスと地形の相互作用を捉えるのに苦戦し、アクションの結果を過度に楽観的に予測する。
DR-WMは、ロボットとテランの接触ダイナミクスを組み込んだ物理的に一貫した世界モデルであり、四重対作用の結果を予測する。
最初のRGB画像からランドスケープ形状を再構成し、実世界のアクション・レスポンス・データを用いて、地形接触特性に関する密集した無次元の先行情報を統合する。
得られた地形モデルは、摩擦のような空間的に異なる接触特性を持つ物理シミュレーションをサポートする。
ロボットの初期状態と今後の動作をシミュレートし、その結果のカメラトラジェクトリとレンダリング幾何を用いて、ビデオワールドモデルのトレーニングをガイドする。
生成された将来の観測は、地形の再構築を更新するために使用され、実際の画像を追加せずに反復的なモデルロールアウトを可能にする。
拡張実験により,DR-WMは,評価基準線の中で最高の性能を達成しつつ,物理指標の物理パラメータの均一化により,幾何のみのベースラインとベースラインを著しく上回ることを示した。
DR-WMで拡張された8B視覚言語モデルは、6つの評価指標のうち5つで、未支援の32B視覚言語モデルを上回っます。
関連論文リスト
- PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models [60.567497085815724]
PhysBrain 1.5は、物理的な環境を理解し、アクションを生成し、将来の状態を予測するための統一モデルである。
事前トレーニングは、人間のインタラクションビデオから完全に具体化された監督を引き出す。
一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
論文 参考訳（メタデータ） (2026-09-14T03:25:46Z) - TourPhysics: Bringing Physics to World Models for Exploration and Manipulation from a Single Image [53.206752160427065]
TourPhysicsは、単一のイメージと宣言的な物理的な設定から得られるオンラインフレームワークである。
各動作について、シミュレータは、対応する観測が生成される前に、有限の物理およびカメラ軌道を計算する。
TourPhysicsは、評価されたベースラインよりも、所定のカメラとオブジェクトの軌跡に従う。
論文 参考訳（メタデータ） (2026-09-04T09:15:03Z) - Masked Visual Actions for Unified World Modeling [96.12988421978463]
Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。
Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
論文 参考訳（メタデータ） (2026-07-21T17:59:11Z) - Learning Transferable Dynamics Priors from Action to World Modeling [22.976971391971617]
本研究では,ロボット学習のための移動可能なダイナミクスを学習するスケーラブルな方法として,行動条件付き世界モデリングについて検討する。
アクションがどのように視覚的なシーンの進化を駆動するかを予測するためのモデルを事前訓練することにより、結果の世界モデルは、外観レベルのビデオ生成を超えた再利用可能なインタラクションのダイナミクスをキャプチャする。
シミュレーションベンチマークと実ロボット設定による実験は、アクション条件付きワールドモデル事前学習が転送可能なダイナミクスを先行することを示す。
論文 参考訳（メタデータ） (2026-06-28T17:01:55Z) - URDF-Anything+: Autoregressive Articulated 3D Models Generation for Physical Simulation [45.4820195450296]
本稿では,視覚的観察から実行可能なオブジェクトモデルを直接生成する,エンドツーエンドの自動回帰フレームワークを提案する。
視覚的観察から構築された高忠実度デジタル双生児は、シミュレーションで訓練されたポリシーを、オンライン適応なしで実際のロボットに転送することができる。
論文 参考訳（メタデータ） (2026-03-14T16:23:44Z) - Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。
実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。
次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
論文 参考訳（メタデータ） (2026-01-24T07:43:57Z) - Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos [24.111891848073288]
身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。
MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。
MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
論文 参考訳（メタデータ） (2025-11-17T02:17:04Z) - Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning [16.193477346643295]
Scan, Materialize, Simulate (SMS) は,正確なシーン再構成のための3次元ガウススプラッティング,セマンティックセグメンテーションのための視覚基盤モデル,物質特性推定のための視覚言語モデル,アクション結果の信頼性予測のための物理シミュレーションを組み合わせた統合フレームワークである。
本研究は,シーン再構築のための異種レンダリング,セマンティック理解のための基礎モデル,物理に基づくシミュレーションにより,多様な環境にまたがる物理的基盤を持つロボット計画を実現する可能性を強調した。
論文 参考訳（メタデータ） (2025-05-20T21:55:01Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳（メタデータ） (2021-11-15T18:50:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。