論文の概要: Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation

• arxiv url: http://arxiv.org/abs/2609.38172v1
• Date: Tue, 29 Sep 2026 17:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.835212
• Title: Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation
• Title（参考訳）: スケーラブルなヒューマノイドロコマニピュレーションを実現するデファクトビデオ生成
• Abstract要約: PRISMは,ヒューマノイドのロボマニピュレーションスキルを教えるための,リアルからシミュレート・トゥ・リアルなフレームワークである。 PRISMは、ビデオ・ツー・ビデオ(V2V)生成を介して、何百もの多様な「偽物」人間とオブジェクトのインタラクションビデオを生成する。 我々は、このポリシーを現実世界の微調整なしで実際のロボットに展開することで、完全なパイプラインを実証する。
• 参考スコア（独自算出の注目度）: 104.43858048650357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Teaching humanoids loco-manipulation skills, such as carrying diverse objects, via visual imitation is a promising path toward generalist robots. However, collecting diverse, high-quality interaction videos, such as clips that clearly show a person's full body and unoccluded interactions with objects, poses a practical barrier to scaling this approach. We propose PRISM, a real-to-sim-to-real framework that overcomes this limitation by amplifying a handful of real videos into a large, diverse training set. PRISM first generates hundreds of diverse "counterfactual" human-object interaction videos via video-to-video (V2V) generation from a few exemplar real videos. Our contact-anchored real-to-sim pipeline then reconstructs both human and object motions, retargeting this imperfect video data into physically plausible trajectories. The intra-class variability across these counterfactual videos lets us train a single policy that generalizes to unseen objects within each category. We demonstrate the full pipeline by deploying this policy on a real robot without any real-world fine-tuning. Using only onboard depth observations, our humanoid picks up, carries, and drops objects, including boxes, barrels, bins, and balls, across novel instances, sizes, and initial configurations.
• Abstract（参考訳）: 視覚的模倣を通して、多様な物体を運ぶなど、ヒューマノイドのロボ操作技術を教えることは、ジェネラリストロボットにとって有望な道である。 しかし、人の全身を明確に示すクリップや、物体との未使用の相互作用など、多種多様な高品質な対話ビデオの収集は、このアプローチをスケールするための現実的な障壁となる。 我々は、この制限を克服し、少数の実動画を大規模で多様なトレーニングセットに増幅することで、PRISMを提案する。 PRISMは、まず、数人の代表的なリアルビデオからビデオ・ツー・ビデオ(V2V)生成を介して、何百もの「偽物」の対話ビデオを生成する。 我々の接触型リアル・トゥ・シムパイプラインは、人間と物体の両方の動きを再構成し、この不完全なビデオデータを物理的に可視な軌道に再ターゲットします。 これらのカウンターファクトビデオのクラス内変動により、各カテゴリ内の未確認オブジェクトに一般化する単一のポリシーをトレーニングすることができます。 我々は、このポリシーを現実世界の微調整なしで実際のロボットに展開することで、完全なパイプラインを実証する。 私たちのヒューマノイドは、搭載されている深度観測のみを使用して、箱、樽、ビン、ボールなどの物体を、新しいインスタンス、サイズ、初期設定で拾い上げ、運び、落下させます。

関連論文リスト

• GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
  GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。 GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。 我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。 GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
  論文  参考訳（メタデータ） (2026-06-03T17:57:45Z)
• OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation [35.97702591413093]
  一つのRGB-Dビデオから操作計画を生成する方法であるOKAMIを紹介する。 OKAMIは、オープンワールドビジョンモデルを使用して、タスク関連オブジェクトを特定し、身体の動きと手ポーズを別々に再ターゲットする。
  論文  参考訳（メタデータ） (2024-10-15T17:17:54Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。