論文の概要: VPTwin: Real-Sim-Real Video Prediction for Robotic Manipulation Planning

• arxiv url: http://arxiv.org/abs/2609.33104v1
• Date: Sun, 27 Sep 2026 02:21:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:29:12.812232
• Title: VPTwin: Real-Sim-Real Video Prediction for Robotic Manipulation Planning
• Title（参考訳）: VPTwin:ロボットマニピュレーション計画のためのリアルタイムビデオ予測
• Abstract要約: VPTwinはリアルタイムリアルタイムビデオ予測フレームワークで、リアルタイム同期シミュレーションツインを使用して、現実の将来の予測をアンロックする。 映像予測における身体幻覚の大幅な減少と,計画性能の大幅な改善が示された。
• 参考スコア（独自算出の注目度）: 20.668309762862645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While action-conditioned video prediction provides an intuitive world model for robotics, purely data-driven predictors often suffer from compounding errors and physically implausible hallucinations in long-horizon rollouts, severely undermining downstream action planning. We propose VPTwin, a Real-Sim-Real video prediction framework that anchors real-world future prediction using real-synchronized simulation twins. For a target manipulation task, a VLM reconstructs an executable digital twin from a real demonstration episode. To accommodate the ill-posed estimation of unobserved physical properties, Isaac Sim simulates multiple forward dynamic rollouts across randomized physical configurations under candidate action trajectories. Using these rollouts as in-context references, VPTwin harmonizes both domains, using simulation dynamics to enforce physical plausibility while capturing unmodeled contact interactions from real video. Furthermore, we establish a predictive planning loop using VPTwin to visually verify VLM-proposed actions and guide reliable real-world execution. Evaluations show substantial reductions in physical hallucinations during video prediction and marked improvements in manipulation planning performance.
• Abstract（参考訳）: アクション条件付きビデオ予測は、ロボット工学の直感的な世界モデルを提供するが、純粋にデータ駆動型予測器は、長い水平ロールアウトにおいて、複雑なエラーと物理的に不可解な幻覚に悩まされ、下流でのアクションプランニングを著しく損なう。 本稿では,実時間同期シミュレーションツインを用いて,現実の予測を固定するリアルタイムビデオ予測フレームワークであるVPTwinを提案する。 目標操作タスクでは、実演エピソードから実行可能なデジタルツインを再構成する。 イザック・シムは、未観測の物理的特性の不正な推定に対応するために、ランダム化された物理的構成を対象の行動軌跡の下で複数の前方動的ロールアウトをシミュレートする。 これらのロールアウトをコンテキスト内参照として使用し、VPTwinは両方のドメインを調和させ、シミュレーションダイナミクスを使用して物理的な可視性を強制し、実際のビデオから未モデル化のコンタクトインタラクションをキャプチャする。 さらに,VPTwinを用いた予測計画ループを構築し,VLMが提案する動作を視覚的に検証し,信頼性の高い実世界の実行を誘導する。 評価は,映像予測における身体幻覚の大幅な低減と,操作計画性能の大幅な改善を示す。

関連論文リスト

• TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks [22.702826122425268]
  制御と予測の中間インタフェースとして視覚トラックを用いた世界モデルに基づくロボット意思決定フレームワークTrActを提案する。 TrActは3つのコンポーネントから構成される: ビジョン・ランゲージ・アクション・アンド・トラックモデル(VLAT)は、現在の観察と言語指導から候補行動と対応する視覚トラックを共同で予測し、トラック条件付き世界モデル(TWM)は、提案されたトラックで条件付けられた将来の視覚結果を予測する。
  論文  参考訳（メタデータ） (2026-08-25T06:00:01Z)
• SimWAM: A Simple World Action Model for End-to-End Autonomous Driving [66.93548079427477]
  我々は、将来の映像予測を訓練時間監視信号として活用する、シンプルで効果的なWAMであるSimWAMを提案する。 孤立した注意マスクは、将来のフレームとは独立して行動予測を保持し、推論時に明示的な将来のフレーム生成なしに軌道予測を可能にする。 我々のSimWAMは、NAVSIM上の91.5 PDMSを達成し、最先端のWAMベースのプランナをはるかに低レイテンシで超越し、ゼロショットをnuScenesに転送する。
  論文  参考訳（メタデータ） (2026-08-07T17:59:09Z)
• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models [60.80050275581661]
  VLM(Vision-Language Models)は、目覚しい常識と意味論的推論能力を示す。 物理力学に関する基礎的な理解は欠如している。 テストタイムでシミュレーション可能な ACTion Planning フレームワークである S を提案する。 本手法は,5つの難易度,実世界の剛体および変形可能な操作課題に対して,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-12-05T18:51:03Z)
• Autonomous Vehicle Path Planning by Searching With Differentiable Simulation [55.46735086899153]
  計画では、エージェントが現実世界で実行する前に、アクションを安全に洗練することができる。 自動運転では、衝突を避け、複雑な密集した交通シナリオをナビゲートすることが不可欠である。 本稿では、微分可能シミュレータWaymaxを次の状態予測と批判の両方として活用するフレームワークである、微分可能探索シミュレーション(DSS)を提案する。
  論文  参考訳（メタデータ） (2025-11-14T07:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。