論文の概要: Robot-Factored World Models via Robot Rendering

• arxiv url: http://arxiv.org/abs/2607.22535v1
• Date: Fri, 24 Jul 2026 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.212019
• Title: Robot-Factored World Models via Robot Rendering
• Title（参考訳）: ロボットレンダリングによる世界ロボットモデルの構築
• Abstract要約: アクション条件付きビデオワールドモデルは、初期観測と行動信号から将来の観測を予測する。 本研究では,ロボット特異的な2つの要素を世界モデル外へ移動させるロボット駆動世界モデルを提案する。 実験により, レンダリングインタフェースはベクトル条件付きベースラインより優れており, 未知のロボットエンボディメント推論に一般化されていることがわかった。
• 参考スコア（独自算出の注目度）: 25.12876640584098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action-conditioned video world models predict future observations from an initial observation and an action signal. In robotics, actions influence future observations through two distinct processes: they are first realized into robot motion by the robot body and controller, and the scene then responds through contact and object motion. Conditioning directly on action commands asks the world model to learn the realization process itself, while conditioning on logged future states leaks the interaction outcomes it is meant to predict. We propose robot-factored world models, which move two robot-specific factors outside the world model. First, action realization: each command is rolled through the robot's own controller and kinematics into a deployment-available nominal trajectory, a middle signal that avoids both action-realization learning and future-state leakage. Second, robot rendering: this nominal trajectory is rendered through the robot URDF, factoring the robot's geometry, kinematics, and appearance out of the model and into explicit rendered robot geometry. To resolve depth ambiguity, we pair end-effector depth with scene depth, giving geometric cues for contact and occlusion beyond image-plane overlap. Together, camera-aware static RGB/depth context and rendered robot geometry form a shared visual world-model interface that stays consistent across viewpoints and robot embodiments, so the model sees the action only as visible robot geometry and learns how objects respond to it. Our experiments show that the rendered interface outperforms vector-conditioned baselines and generalizes to unseen robot embodiments at inference. We further demonstrate that our model generates robot manipulation videos from human demonstrations by retargeting and rendering the hand motion as robot geometry.
• Abstract（参考訳）: アクション条件付きビデオワールドモデルは、初期観測と行動信号から将来の観測を予測する。 ロボット工学では、アクションは2つの異なるプロセスを通して将来の観察に影響を与える:ロボット本体とコントローラによってロボットの動きに最初に実現され、その後、シーンは接触と物体の動きを介して反応する。 アクションコマンドを直接条件付けすることで、世界モデルに実現プロセス自体の学習を依頼する一方で、ログされた将来の状態の条件付けでは、予測対象のインタラクション結果がリークされる。 本研究では,ロボット特異的な2つの要素を世界モデル外へ移動させるロボット駆動世界モデルを提案する。 まず、アクション実現:各コマンドは、ロボット自身のコントローラとキネマティクスを通して、アクション実現学習と将来の状態漏洩の両方を避ける中間信号であるデプロイメント可能な名目軌道にロールされる。 第2に、ロボットレンダリング:この名目上の軌跡はロボットURDFを通してレンダリングされ、ロボットの幾何学、運動学、外観をモデル外から明らかにレンダリングされたロボット幾何学に分解する。 奥行きの曖昧さを解消するため,シーン深度とエンドエフェクタ深度をペアリングし,画像面の重なりを超えて接触や閉塞の幾何学的手がかりを与える。 カメラが認識する静的なRGB/深度コンテキストとレンダリングされたロボットジオメトリは、視点やロボットの体感に一貫性のある共有ビジュアルワールドモデルインターフェースを形成するため、モデルでは、アクションを可視的なロボットジオメトリとしてのみ見ることができ、オブジェクトがそれに対応する方法を学ぶことができる。 実験の結果, 描画インタフェースはベクトル条件付きベースラインよりも優れており, 推論時に見えないロボットの体格に一般化することがわかった。 さらに,ロボットの動作をロボットの形状として再ターゲティング・レンダリングすることで,人間のデモからロボット操作ビデオを生成することを実証した。

関連論文リスト

• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• Masked Visual Actions for Unified World Modeling [96.12988421978463]
  Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。 Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
  論文  参考訳（メタデータ） (2026-07-21T17:59:11Z)
• Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning [17.90707618632327]
  我々は、人間のビデオから再利用可能なオブジェクト中心のインタラクションを学習するためのフレームワークであるHuman2Anyを紹介する。 我々は,FrankaテーブルトップとRBY-1ヒューマノイド移動ロボットの実際の実験を含む,さまざまな操作設定のHuman2Anyを検証する。
  論文  参考訳（メタデータ） (2026-06-27T08:45:27Z)
• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Visual IRL for Human-Like Robotic Manipulation [5.167226775583172]
  本研究では,協調ロボット(コボット)が操作タスクを学習し,それを人間的な方法で実行するための新しい手法を提案する。 本手法は,ロボットが人間の行動を観察してタスクの実行を学習する,LfO(Learning-from-observation)パラダイムに該当する。 2つの異なる現実的な操作課題に対して,本手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-12-16T01:23:13Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers [36.497624484863785]
  Vid2Robotは、人間のビデオで操作タスクを入力として表現し、ロボットアクションを生成する、エンドツーエンドのビデオ条件付きポリシーである。 我々のモデルは、ビデオから人間とロボットのアクションの統一表現を学習するために、プロンプトロボット軌道対の大規模なデータセットを用いて訓練されている。 実世界のロボット上でのVid2Robotの評価を行い、人間のプロンプトビデオを用いた場合、BC-Zよりも20%以上の改善が見られた。
  論文  参考訳（メタデータ） (2024-03-19T17:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。