Geometric Action Model for Robot Policy Learning
Abstractの概要
本論文は、事前学習済みの幾何学基盤モデルを認識、時間的予測、および行動デコードのための共有バックボーンとして再利用する、言語条件付きのロボット操作方策であるGeometric Action Model (GAM) を提案している。GAMは幾何学モデルを中間層で分割し、浅い層を用いて観測をエンコードしたのち、言語、自己受容感覚、および行動履歴を条件として将来の潜在的な幾何学を予測する因果的予測器を挿入し、予測されたトークンを残りのバックボーン層に送ることで将来の幾何学と行動の両方をデコードする。この手法は、主に2D画像の事前知識に頼るのではなく、方策内部で明示的に3D幾何学的推論を行うように設計されている。実験は、LIBEROやLIBERO-Plusなどのシミュレーションベンチマーク、RoboCasa-Kitchenの追加結果、および実ロボットの操作タスクに及んでおり、これらの設定において、いくつかの基盤モデルスケールのベースラインと比較して、摂動に対する堅牢性の向上、低レイテンシ、およびモデルサイズの縮小が示されている。
新規性
従来のように幾何学を固定された特徴抽出器や補助的なアライメント目標としてのみ使用するのではなく、バックボーン内部に因果的な時間的予測器を挿入することで、事前学習済みの幾何学基盤モデルを統合された世界・行動方策に変換した点が特徴的な貢献である。このモデルは、共有潜在空間において将来の幾何学トークンと行動トークンを同時予測し、深い幾何学デコーダーブロックを再利用して両方の予測を洗練させる。
成果
LIBERO-PlusにおいてGAMは全体の成功率85.5%を達成し（オリジナルのLIBEROでは97.6%、12.1ポイントの低下）、特にカメラの視点変更（摂動）に対する性能は83.1%と、比較対象中で最も強力なベースラインを9.7ポイント上回る結果を報告している。また、14億パラメータのモデルを使用しながら推論レイテンシ6.9 ms（約145 Hzの制御）を記録し、拡散ベースのCosmos-Policyベースラインと比較して最大55倍の高速化を達成したとしている。実世界の実験においても、GAMが比較ベースラインを上回り、外部からのカメラ摂動に対して高い堅牢性を維持することが報告されている。
論文の注目点
- GAMは、バックボーンを分割して因果的な未来予測器を挿入することにより、認識、将来の幾何学予測、および行動デコードを1つの共有幾何学基盤モデル内に統合する。
- 実証結果は分布シフト、特にカメラ視点の摂動下での堅牢性を強調しており、明示的な3D幾何学的推論が2D中心のVLAやWAMベースラインよりも汎化性能を向上させることが示唆されている。
- 本手法は効率的かつコンパクトであると位置づけられており、高いベンチマーク性能を保持しつつ、複数の大規模なベースライン方策よりも大幅に低い推論レイテンシと少ないパラメータ数を実現している。