Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation
Abstractの概要
本論文では、少数の実世界の人間の動画からヒューマノイドの移動マニピュレーション（loco-manipulation）を学習させるreal-to-sim-to-realフレームワークであるPRISMを提案しています。この手法はvideo-to-video生成を用いて4本のシード録画動画を256本の反実仮想的な人間と物体のインタラクション動画へと拡張し、人間と物体の動きを再構成した上で、接触アンカー制約を用いて物理的に妥当なロボットのデモンストレーションへとリターゲティングします。これらの軌道から、特権的な教師ポリシーと、車載深度情報およびジョイスティックコマンドを使用する深度ベースの生徒ポリシーを通じて統合ポリシーが学習されます。本論文では、再構成品質、sim-to-sim転移、実世界への展開、および生成データや接触を考慮したコンポーネントの寄与を検証するためのアブレーションを評価しています。
新規性
独自の発想は、収集されたデモンストレーションや直接的なロボット動画生成のみに依存するのではなく、反実仮想的な動画生成をヒューマノイドロボット学習のための人間・物体インタラクションデータの大規模な供給源として活用する点にあります。また、推論された接触構造を利用してノイズを含む単眼動画の再構成結果を使用可能なロボット・物体の軌道へと変換する、接触アンカーに基づく再構成およびリターゲティングパイプラインを導入しています。
成果
学習されたポリシーは、実世界でのファインチューニングを行うことなく実機のUnitree G1へゼロショットで展開され、車載深度観測とジョイスティックコマンドのみを用いて持ち上げ、運搬、設置の動作を実行します。シミュレーションにおいてPRISMで学習したポリシーはOMOMOデータのみで学習したポリシーよりも優れたドメイン間転移を示し、完全な接触アンカーシステムにより成功率がベースラインの22.50%/12.50%（ドメイン内/ドメイン外）から96.25%/72.92%へと向上しました。実世界の評価では、箱で15/15、ビンや樽で14/15を含む、ドメイン内および複数のドメイン外物体にわたって成功が報告されています。
論文の注目点
- PRISMは4本の実動画を256本の反実仮想インタラクションクリップへと拡張し、単一のヒューマノイド移動マニピュレーションポリシーの学習に利用します。
- 本手法は、不完全な単眼動画データを物理的に妥当な学習用軌道に変換するために、接触アンカーに基づく物体再構成、リターゲティング、および報酬設計に依拠しています。
- 得られた深度ベースのポリシーは実機のヒューマノイドにゼロショットで転移し、物体のインスタンス、姿勢、スケール、および一部のドメイン外カテゴリにわたって汎化します。
参考リンク
- arXiv: https://arxiv.org/abs/2609.38172v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.38172v1
- Hugging Face Papers: https://huggingface.co/papers/2609.38172
- Project: https://prism-real2sim2real.github.io/