Robot Self-Improvement via Human-Video Dynamics Models
Abstractの概要
本論文は、人間の受動的な動画から学習した事前知識が、ロボットのポリシー初期化だけでなく、展開後の自律的な自己改善をサポートできるかを調査しています。著者らは、人間の動画から身体性に依存しない行動、ダイナミクス、価値の表現を学習し、ロボットのロールアウトを用いてダイナミクスおよび価値モデルを適応させます。失敗したロボットの状態をクエリとして扱い、修正行動の候補を生成し、ダイナミクスモデルで結果を予測して、価値モデルでランク付けする学習不要のメカニズム「Dynamics-Guided Action Correction（DGAC）」を導入しました。本システムは、2つのロボットの身体性と複数のポリシーバックボーンにわたる、7つの現実世界のマニピュレーションタスクで評価されています。
新規性
主な貢献は、人間の動画を使用して転移可能な行動、ダイナミクス、価値モデルを事前学習し、様々な身体性における失敗主導のロボット自己改善をサポートする点です。提案されたDGAC手法は、オンラインでの人間の介入や修正モジュールの追加学習を必要とせず、失敗したオフラインのロールアウト状態を修正的な教師データに変換する点にも新規性があります。
成果
Hello Robot Stretch 3を用いた5つの主要な実世界タスクにおいて、提案手法は平均成功率85.3%を達成し、強力なベースライン（76.0%）や行動クローニングの初期化（41.3%）を上回りました。異なるバックボーンに適用した場合でも、DGACは微調整されたπ0.5ポリシーを62.7%から88.0%に向上させ、人間の修正なしのRECAP（68.0%）を大幅に上回りました。また、Franka Pandaを用いた2つのタスクでは平均成功率を36.7%から70.0%に引き上げ、クロスエンボディメント転移の可能性を示しました。
論文の注目点
- 人間の動画の事前学習を利用して、ロボットのロールアウトによって実装可能な、身体性に依存しないポリシー、ダイナミクス、価値の表現を学習する。
- DGACは、成功した参照元から局所的に適応した修正行動を生成し、予測される将来の価値が最も高い候補を選択することで、回復可能な失敗を修復する。
- 実験により、従来の自己改善ベースラインに対する大幅な性能向上、異なるロボットの身体性への転移能力、および別の事前学習済みポリシーバックボーンでの有効性が示された。