Robot Critics that Sweat the Small Stuff
Abstractの概要
本論文は、わずかな位置ずれや接触ミスなどの微細な視覚的詳細によって成功と失敗が分かれる閉ループのロボット操作において、視覚言語モデルのクリティック（評価器）をどのように役立てるかを研究している。著者らは、一致する初期条件から得られた成功および失敗のポリシーロールアウトのペアを教師データとしてクリティックを微調整し、段階的なタスクの進捗とポリシー特有の失敗パターンの両方を学習させた。テスト時には、確率的ポリシーの制御ループ内にクリティックを組み込み、複数の行動候補をサンプリングした上で、行動条件付け動画モデルがその行動の視覚的結果を予測し、クリティックが相対的な進捗に基づいて候補をランク付けする。RoboCasa、現実世界のLBMベンチマーク、卓上ロボットタスク、およびRoboCasa365シミュレーションでの実験により、このアプローチが微細な進捗の識別能力を向上させ、ポリシーをより良い行動選択へと導くことが示されている。
新規性
主な新規性は、同一の初期条件からの成功および失敗のロールアウトペアを使用し、ポリシー特有の微細な失敗を対象としたペア比較形式の進捗学習を行うクリティック訓練手法である。また、この微調整されたクリティックを行動条件付け動画予測と組み合わせることで、閉ループのロボット制御においてサンプリングされた行動軌跡をテスト時に再ランク付けする点も新しい。
成果
微調整されたクリティックは、微細な進捗や失敗の判定においてベースラインを大幅に上回り、RoboCasaで平均精度0.936、現実世界のLBMデータセットで平均精度0.900を達成し、高い分布外（OOD）性能を示した。閉ループでの検証では、ポリシーの平均成功率が現実世界のタスクで11%、シミュレーションタスクで5.9%向上し、具体例としてスタッキングタスクの成功数が50回中23回から32回に、Push-BowlタスクのmIoUが0.140から0.321に向上した。
論文の注目点
- 成功と失敗の両方のロールアウトで訓練することが重要であり、成功のみで訓練したクリティックは成否比較の精度が著しく低下するが、提案手法では微細な失敗パターンを的確に認識できる。
- クリティックは予測された終端状態のペア比較器として訓練されており、これは絶対的な進捗スコアを割り当てる手法よりも、候補となる複数のロールアウトから最適なものを選択する処理によく適している。
- 手法の性能向上は行動条件付け動画モデルに依存する部分があり、論文では動画の予測エラーによる失敗事例や、動画生成に伴う推論遅延の大きさについても言及されている。