論文の概要: Physical Canvas: A Vision Tactile World Model For Robot Policy Evaluation And Learning

• arxiv url: http://arxiv.org/abs/2610.28613v1
• Date: Tue, 20 Oct 2026 17:54:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.960844
• Title: Physical Canvas: A Vision Tactile World Model For Robot Policy Evaluation And Learning
• Title（参考訳）: Physical Canvas:ロボットのポリシー評価と学習のための視覚触覚世界モデル
• Abstract要約: PhysCanvas(フィスキャンバス)は、接触に富むロボット操作のための状態整合型触覚世界モデルである。 マルチビューRGB、触覚画像、マーカー変位、タスク状態、アクションを統一された視覚空間内で統合する。 我々の一貫性に留意したポストトレーニングでは、凍結したシーンリワードモデル、モダリティリワードモデル、ステートリワードモデルを使用して、シーンの保存、視覚的触覚の整合性、実際のタスク結果との整合性を監督しています。
• 参考スコア（独自算出の注目度）: 17.656047835860864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating and post-training robot policies through physical interaction is costly and difficult to scale, motivating action-conditioned world models as interactive simulators. However, visually plausible predictions can misrepresent contact dynamics, providing unreliable feedback for policy evaluation and learning. We introduce PhysCanvas, a state-consistent visuo-tactile world model for contact-rich robot manipulation. PhysCanvas unifies multi-view RGB, tactile images, marker displacement, task state, and actions within a unified vision space. All modalities share a video VAE and pretrained generative backbone, allowing optical touch to reuse visual and temporal priors. Motion images derived through forward kinematics and camera projection provide spatially aligned action conditioning, while an initial RGB anchor and updated reference observations guide sequential generation. Our consistency-aware post-training uses the frozen Scene Reward Model, Modality Reward Model, and State Reward Model to supervise scene preservation, visual-tactile compatibility, and agreement with real task outcomes. The resulting world model supports closed-loop policy rollouts for evaluation and provides imagined interactions and rewards for GRPO policy updates. Across four real-world manipulation tasks, when policies are rolled out in the world model, State Reward Model supervision increases the arithmetic mean of task-wise Pearson correlations between world-model and real-world success rates from 0.602 to 0.885. Policy post-training in the reward-guided world model further increases $π_{0.5}$'s mean real-world success rate from a 59.1% SFT baseline to 70.8%. These results demonstrate the value of unified multimodal modeling and consistency-aware post-training for robot policy evaluation and learning. Project page: https://zebinx.github.io/PhysCanvas_HomePage/.
• Abstract（参考訳）: 物理的相互作用によるロボットポリシーの評価と後訓練は、対話型シミュレーターとして行動条件付き世界モデルを動機付けるため、費用がかかり、スケールが困難である。 しかし、視覚的に妥当な予測は接触力学を誤って表現し、政策評価や学習に信頼できないフィードバックを与える。 本稿では,接触の多いロボット操作のための状態整合型触覚世界モデルであるPhysCanvasを紹介する。 PhysCanvasはマルチビューRGB、触覚画像、マーカー変位、タスク状態、アクションを統一された視覚空間内で統合する。 すべてのモダリティはビデオVAEと事前訓練された生成バックボーンを共有しており、光学タッチは視覚的および時間的先行を再利用することができる。 フォワードキネマティクスとカメラプロジェクションによって導出される動き画像は、空間的に整列した動作条件を与え、初期RGBアンカーと更新された参照観察ガイドを逐次生成する。 我々の一貫性に留意したポストトレーニングでは、凍結したシーンリワードモデル、モダリティリワードモデル、ステートリワードモデルを使用して、シーンの保存、視覚的触覚の整合性、実際のタスク結果との整合性を監督しています。 得られたワールドモデルは、評価のためのクローズドループポリシーのロールアウトをサポートし、GRPOポリシー更新のための想像上のインタラクションと報酬を提供する。 4つの実世界の操作タスクにおいて、政策が世界モデルにロールアウトされた場合、ステート・リワード・モデル監督は、世界モデルと実世界の成功率の間のタスクワイドピアソン相関の算術平均を0.602から0.885に引き上げる。 報酬誘導世界モデルにおける政策ポストトレーニングは、平均的な現実世界の成功率を59.1% SFTベースラインから70.8%に引き上げる。 これらの結果は、ロボットのポリシー評価と学習のための統合マルチモーダルモデリングと一貫性を考慮したポストトレーニングの価値を示す。 プロジェクトページ: https://zebinx.github.io/PhysCanvas_HomePage/。

関連論文リスト

• From Pixels to Executable Physics: Behavior-Grounded World Models for Embodied Action Consequence Prediction [8.863547864751707]
  屋外環境では、異なる地形と接触条件が同一の動作命令を発生させ、四足歩行ロボットに異なる動作結果をもたらす可能性がある。 DR-WMは、ロボットとテランの接触ダイナミクスを組み込んだ物理的に一貫した世界モデルであり、四重対作用の結果を予測する。
  論文  参考訳（メタデータ） (2026-10-13T02:56:21Z)
• World-Action Models for Robot Learning and Control: A Survey [41.45329550202786]
  世界モデル、ビデオ生成、ビジョン・ランゲージ・アクション(VLA)政策の最近の進歩は、ワールド・アクション・モデル(WAM)の発展を動機づけている。 この調査は、WAMのロボティクス指向のレビューを提供する。 我々は、従来の世界モデル、モデルに基づく強化学習、アクション条件付きビデオ生成、リアクティブVLAポリシーに対するそれらのスコープを明確にし、統一された分類法によって既存の手法を整理する。 我々は,行動アライメント,世界行動の分解,空間的・多視点整合性,長期記憶,閉ループ政策学習のためのニューラルシミュレーション,効率的な推論における重要な課題について議論する。
  論文  参考訳（メタデータ） (2026-09-13T16:35:56Z)
• ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation [30.004466515831634]
  ViTacWorldは、スケーラブルなコンタクトリッチロボット操作のためのアクションコンディション付きビズオ触覚世界モデルである。 これは触覚信号が物理的接触に直接接しており、純粋に視覚的な観察よりもシミュレーションと現実のギャップが小さいという事実を利用する。 ロボットの視覚触覚行動軌跡生成と政策評価に世界モデルを用いた最初のフレームワークである。
  論文  参考訳（メタデータ） (2026-07-24T17:59:33Z)
• Masked Visual Actions for Unified World Modeling [96.12988421978463]
  Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。 Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
  論文  参考訳（メタデータ） (2026-07-21T17:59:11Z)
• Interactive World Simulator for Robot Policy Training and Evaluation [21.481187472784047]
  ロボットインタラクションデータセットからインタラクティブな世界モデルを構築するためのフレームワークであるInteractive World Simulatorを提案する。 我々の実験では、学習された世界モデルが相互作用に一貫性のあるピクセルレベルの予測を生成する。 我々は,世界モデル生成データに基づいてトレーニングされたポリシーが,同じ量の実世界のデータでトレーニングされたポリシーと相容れないことを発見した。
  論文  参考訳（メタデータ） (2026-03-09T16:13:32Z)
• Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning [106.57043104902584]
  本研究では,大規模な事前学習ビデオモデルを効果的なロボットポリシーに適応するためのシンプルなアプローチであるコスモスポリシーを紹介する。 コスモスポリシーは、ビデオモデルの潜伏拡散プロセスの中で潜伏フレームとして符号化された直接ロボットアクションを生成することを学ぶ。 評価において,コスモスポリシはLIBEROとRoboCasaのシミュレーションベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-22T18:09:30Z)
• Evaluating Gemini Robotics Policies in a Veo World Simulator [69.23071832313246]
  我々はフロンティアビデオ基盤モデル(Veo)に基づく生成的評価システムを導入する。 このシステムは、ロボットアクションコンディショニングとマルチビュー一貫性をサポートするよう最適化されている。 我々は、Gemini Roboticsのポリシーチェックポイント8つと、バイマニュアルマニピュレータのための5つのタスクの1600以上の実世界の評価を通じて、これらの能力を検証した。
  論文  参考訳（メタデータ） (2025-12-11T14:22:14Z)
• Ctrl-World: A Controllable Generative World Model for Robot Manipulation [53.71061464925014]
  汎用ロボットポリシーは、幅広い操作スキルを実行することができる。 未知の物体や命令で 彼らの能力を評価し 改善することは 重要な課題です 世界モデルは、イマジネーション空間内でポリシーの展開を可能にすることで、有望でスケーラブルな代替手段を提供する。
  論文  参考訳（メタデータ） (2025-10-11T09:13:10Z)
• WorldGym: World Model as An Environment for Policy Evaluation [41.204900701616914]
  WorldGymは、実環境のプロキシとして機能する自動回帰、アクション条件付きビデオ生成モデルである。 ポリシーはモンテカルロの世界モデルによるロールアウトを通じて評価され、視覚言語モデルが報酬を提供する。 We show that WorldGym can maintain relative policy rankings across different policy version, sizes, and training checkpoints。
  論文  参考訳（メタデータ） (2025-05-31T15:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。