論文の概要: CASTER: Formalizing Zero-Shot Manipulation from Synthetic Videos as Constrained Optimization

• arxiv url: http://arxiv.org/abs/2610.12567v1
• Date: Thu, 08 Oct 2026 18:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.227871
• Title: CASTER: Formalizing Zero-Shot Manipulation from Synthetic Videos as Constrained Optimization
• Title（参考訳）: CASTER: 制約付き最適化としての合成ビデオからのゼロショット操作の形式化
• Abstract要約: 我々は、ゼロショット操作タスクのために、合成ビデオ生成から実世界のロボット軌道へと進む過程を定式化する。 最適化に基づくフォーマリズムは、成功に必要なビデオ生成特性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 15.802993666287259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior research on learning from humans often requires real human demonstrations. But advances in video generation models offer a new paradigm: we can now prompt these generators to make synthetic videos of the task. On the plus side, these synthetic videos take place in the robot's current environment, and do not require actual human teaching. However, while the generated videos appear to show plausible motions, they lack both physical consistency and robot grounding, and thus the robot cannot directly roll out the trajectory shown by the video. In this paper we seek to formalize the process of going from synthetic video generation to real-world robot trajectories for zero-shot manipulation tasks. We recognize that this problem is an instance of constrained optimization. The object trajectories extracted from the synthetic video provide an initial guess at the correct motion, and the robot must refine these trajectories (for instance, within a digital twin) while enforcing physical feasibility and semantic consistency. Our optimization-based formalism provides insights into the video generation properties necessary for success. Specifically, we show that the video generation must probabilistically seed the search within a semantic basin of attraction where the trajectory can be locally modified without losing its task alignment. Our analysis further reveals that state-of-the-art approaches can be viewed as instances of our unified formalism with key simplifications. In our experiments we remove these simplifications to more closely match the underlying optimization, leading to more robust zero-shot trajectories from synthetic videos and improving average task success by 34.1% compared to the best-performing baseline. See videos at our project website: https://collab.me.vt.edu/CASTER
• Abstract（参考訳）: 人間からの学習に関する先行研究は、しばしば人間の実演を必要とする。 しかし、ビデオ生成モデルの進歩は、新しいパラダイムを提供する。 プラスに、これらの合成ビデオはロボットの現在の環境で行われ、実際の人間の教えを必要としない。 しかし、生成されたビデオは可塑性運動を示すように見えるが、それらは物理的な一貫性とロボットの接地の両方を欠いているため、ロボットはビデオで示される軌道を直接ロールアウトすることはできない。 本稿では,ゼロショット操作タスクのための,合成ビデオ生成から実世界のロボット軌道への移行プロセスの形式化を目指す。 我々はこの問題が制約付き最適化の例であることを認識している。 合成ビデオから抽出された物体の軌跡は、正しい動きを推定し、ロボットは物理的な実現可能性と意味的な一貫性を保ちながら、これらの軌跡(例えばデジタル双生児内で)を洗練させなければならない。 最適化に基づくフォーマリズムは、成功に必要なビデオ生成特性に関する洞察を提供する。 具体的には、ビデオ生成は、タスクアライメントを失うことなく、軌道を局所的に変更できるアトラクションのセマンティックな盆地内で、探索を確率的にシードする必要があることを示す。 我々の分析により、最先端のアプローチは、重要な単純化を伴う統一形式主義の例と見なせることが明らかとなった。 実験では、これらの単純化を除去し、基礎となる最適化をより緊密に適合させ、合成ビデオからのゼロショット軌道をより堅牢にし、最高の性能のベースラインと比較して平均タスク成功率を34.1%向上させる。 プロジェクトのWebサイト https://collab.me.vt.edu/CASTER

関連論文リスト

• BeyondRetarget: Learning Executable Humanoid Motions Directly from Monocular Video [34.97982846901588]
  本研究では,モノクラーRGBビデオをロボットの動きにマッピングする,エンドツーエンドのフレームワークであるBeyondRetargetを提案する。 このフレームワークは、明示的な人間の表現を識別し、視覚的な観察からロボット指向の暗黙の表現を直接学習する。 実験の結果,BeyondRetargetは生成したロボットの動きの精度と堅牢性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2026-09-24T14:15:04Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
  ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。 この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか? この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。 我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
  論文  参考訳（メタデータ） (2025-12-04T18:56:03Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。