論文の概要: PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations

• arxiv url: http://arxiv.org/abs/2610.37381v2
• Date: Thu, 29 Oct 2026 18:00:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.37069
• Title: PDRVLA: A Vision-Language-Action Model with Physical Dynamics Representations
• Title（参考訳）: PDRVLA:物理ダイナミクス表現を用いた視覚言語行動モデル
• Abstract要約: 物理ダイナミクスモジュールは、視覚言語の特徴から物理トークンを抽出し、オンラインビデオ生成なしで条件アクション生成する。 このモジュールは、将来のRGB、深度、光フロー機能の直接予測を通じて学習し、凍結したビデオワールドモデルを通じて補助的な監視を行う。 4つのシミュレーションベンチマークで、PDRVLAはLIBEROで99.3%、LIBERO-Plusで89.9%、RoboTwin2.0で93.6%、SimplerEnvで81.5%の成功率を達成した。
• 参考スコア（独自算出の注目度）: 23.491170836743674
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision--Language--Action (VLA) models generate robot actions from visual observations and language instructions, but their understanding of physical dynamics remains limited. Video world models can capture scene dynamics, yet generating future videos introduces high latency into the control loop. We introduce PDRVLA, whose lightweight Physical Dynamics Module extracts physical tokens from vision--language features to condition action generation without online video generation. The module learns through direct prediction of future RGB, depth, and optical-flow features, with auxiliary supervision through a frozen pretrained video world model. Training relies entirely on publicly available data, expanded through human-to-robot synthesis, subtask annotation, and embodied chain-of-thought (ECoT) annotation. Across four simulation benchmarks, PDRVLA achieves success rates of 99.3% on LIBERO, 89.9% on LIBERO-Plus, 93.6% on RoboTwin~2.0, and 81.5% on SimplerEnv. Ablations show improved future prediction with world-model supervision and evaluate how subtask conditioning, future object-pose supervision, and ECoT training affect action success.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、視覚的な観察や言語指示からロボット行動を生成するが、物理力学の理解は限られている。 ビデオワールドモデルはシーンのダイナミクスをキャプチャできるが、将来のビデオは制御ループに高い遅延をもたらす。 PDRVLAは、視覚言語の特徴から物理トークンを抽出し、オンラインビデオ生成なしで条件アクション生成する。 このモジュールは、将来のRGB、深度、光フロー機能の直接的な予測を通じて学習し、凍結した事前訓練されたビデオワールドモデルを通じて補助的な監視を行う。 トレーニングは完全に公開データに依存しており、人間とロボットの合成、サブタスクのアノテーション、そしてEmbodied chain-of- Thought(ECoT)アノテーションによって拡張されている。 4つのシミュレーションベンチマークで、PDRVLAはLIBEROで99.3%、LIBERO-Plusで89.9%、RoboTwin~2.0で93.6%、SimplerEnvで81.5%の成功率を達成した。 アブレーションは、世界モデル監視による将来の予測を改善し、サブタスク条件、将来の目的監督、ECoTトレーニングが行動の成功にどのように影響するかを評価する。

関連論文リスト

• Forward Dynamics Models [85.83989159271482]
  我々は、アクションと将来の世界状態を予測するロボットアクションモデルのファミリーであるフォワード・ダイナミクス・モデル(FDM)を提示する。 将来の予測は行動の特徴に則っているが、逆ではない。エンドツーエンドのトレーニングは、将来的な国家が政策を監督する。 シミュレーションおよび実ロボットを用いた実験により、両背骨のFDMの有効性が示された。
  論文  参考訳（メタデータ） (2026-10-09T07:12:16Z)
• LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies [31.88655699486955]
  ラワント・アクション条件付きラワント・ワールドモデル(LaWM)を提案する。 LaWAMは、将来のビデオの再構成ではなく、コンパクトで潜伏した視覚サブゴールを通じて、ロボットポリシーに対する予測ダイナミクスを公開する。 LaWAMはアクションチャンク予測あたり187msで動作し、画素空間のWAMよりも最大24倍の遅延時間を実現する。
  論文  参考訳（メタデータ） (2026-06-14T12:06:58Z)
• From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
  人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。 この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。 この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2026-05-18T06:19:16Z)
• Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
  DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。 今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。 CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
  論文  参考訳（メタデータ） (2026-03-27T17:20:10Z)
• Do World Action Models Generalize Better than VLAs? A Robustness Study [25.418384276142223]
  視覚言語アクション(VLA)は、様々なロボットタスクで顕著な成功を収めた。 世界行動モデル(WAM)は、将来の状態を予測するために大量のビデオデータに基づいて訓練された世界モデルに基づいて構築される。 LIBERO-Plus と RoboTwin 2.0-Plus のベンチマークにおいて,様々な視覚的・言語的摂動による性能評価を行った。
  論文  参考訳（メタデータ） (2026-03-23T15:13:15Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Learning Physics from Pretrained Video Models: A Multimodal Continuous and Sequential World Interaction Models for Robotic Manipulation [63.04810454548667]
  我々は、ロボット操作タスクを解決するために、スケーラブルで連続的かつシーケンシャルな世界インタラクションフレームワークであるPhysGenを紹介した。 トレーニング済みのビデオモデルを物理シミュレーターのプロキシとして扱うことで、PhysGenは外部環境とロボット動作の間の動的相互作用をモデル化する。 本稿では,映像とアクションを共有物理トークンに統合し,離散映像生成と連続ロボット制御のギャップを埋めるマルチモーダル連続表現を提案する。
  論文  参考訳（メタデータ） (2026-02-18T14:58:18Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。