DiPLO: Self-distilled Diffusion Planning for Loco-manipulation
Abstractの概要
DiPLOは、拡散ベースのモーションプランナーと低レベル強化学習追従ポリシーを組み合わせたヒューマノイドの移動マニピュレーションフレームワークです。本プランナーは、少数のリターゲットされたデモンストレーションから得られた動力学的に実現可能なロボットと物体のモーションを用いて事前学習され、その後2段階のポストトレーニングによって改良されます。まずSD:DPOにより、参照モーション条件付きプランナーを状態履歴と物体目標条件のみで動作するプランナーへと自己蒸留します。続いてDA:PPOにより、固定されたトラッカーとの閉ループインタラクションを通じて蒸留済みプランナーをファインチューニングし、タスク完了率の向上と計画モーションの実行可能動作への整合を図ります。
新規性
本論文は、自己蒸留（SD:DPO）と拡散RLファインチューニング（DA:PPO）を組み合わせた2段階のポストトレーニングパイプラインを提案し、事前学習時の利点を保ちながら実展開時の運動学的モーション事前分布への依存を排除します。また、拡散プランナー内でSO(3)上の回転成分を直接モデル化し、ピック・アンド・プレース、キック、プッシュ／プル、および実ロボットへのハードウェア転送にわたる統一的なプランナー・トラッカーアーキテクチャを実証しています。
成果
ピック・キャリー・プレースのシミュレーションにおいて、SD:DPOは目標条件付き生徒モデルの生存率を57.7%から100.0%へ引き上げ、その後のDA:PPOファインチューニングにより99.5%の生存率と98.8%のタスク成功率を達成しました。拡張事前学習設定では、DA:PPOがタスク成功率を51.9%から96.4%に向上させ、追従精度と物体姿勢誤差の両面で事前学習モデルおよびDPPOスタイルのベースラインを上回りました。さらに、蒸留済みシステムは未知の目標グリッド全体で88%のタスク成功率を達成し、Unitree G1ロボットへのゼロショット転送において10回中10回の再現試行および5種中5種の異なるタスク実行を成功させました。
論文の注目点
- データが限られた状況での事前学習には強力な逆運動学タスク条件付けが不可欠ですが、SD:DPOは参照条件付き教師モデルを目標条件付き生徒モデルへと蒸留することで、実展開時におけるこの要件を排除することに成功しています。
- DA:PPOファインチューニングは事前学習モデルと比較して閉ループでのタスク完了率を大幅に改善し、DPPOスタイルの更新を上回るほか、プランナーのファインチューニングは追従ポリシーのみのファインチューニングよりも高いタスク成功率を達成します。
- 階層的なモーション計画と追従を組み合わせたアーキテクチャは、生存率とタスク完了率において直接的なアクションレベル拡散ベースラインを凌駕し、分布外の目標や実機のヒューマノイドハードウェアに対しても頑健に汎化します。