Reinforcement Learning for Real-Time Vision-Language-Action Policies
Abstractの概要
本論文では、無視できない推論遅延下で動作し、古い観測による分布シフトが発生しやすい大規模視覚・言語・行動（VLA）ポリシーの強化学習ファインチューニングに取り組みます。提案手法であるReal-Time EXPO-FTは、事前学習済みVLAによって生成される低速な非同期アクションチャンク提案と、最新の観測に基づく高速で反応的なアクション調整を分離します。学習されたCriticが、実行直前に元の候補アクションチャンクと編集後の候補アクションチャンクの双方を評価し、最も価値の高いアクションシーケンスを選択します。本フレームワークは、Kinetixベンチマークのシミュレーションと、高周波の反応性が求められる4つの実世界動的操作タスクで検証されています。
新規性
主な新規性は、瞬時の実行を前提とするのではなく推論遅延を明示的に組み込んだ、リアルタイムVLA制御向けの強化学習ファインチューニングフレームワークである点です。訓練時のリアルタイムチャンキングによる非同期ベースアクション生成と、実行時の軽量で同期的な観測依存のアクション編集およびCriticに基づく選択を組み合わせています。
成果
Kinetixシミュレーションベンチマークにおいて、Real-Time EXPO-FTは4ステップの推論遅延下で平均成功率96.2%を達成し、全10環境で遅延を考慮したすべてのRLベースラインおよび遅延ゼロのRLPDベースライン（81.4%）を上回りました。タスクあたり10分に制限されたオンラインインタラクションによる実世界の動的タスクでは、平均タスク性能を42%（12.5/30）から97%（29/30）に向上させ、様々な遅延水準や動的オブジェクトの速度に対しても頑健性を維持しました。
論文の注目点
- Real-Time EXPO-FTは、低速な非同期チャンク生成と実行時の高速な観測依存アクション編集を分離することで、大規模VLAポリシーにおける古い観測による性能低下を防止します。
- チャンクレベルのCriticが時間差分学習を用いてベース候補アクションと編集済み候補アクションを評価し、推論遅延下でもマルコフ性を維持するとともに、計算量を抑えるために候補ノイズの任意フィルタリングを行います。
- 10のシミュレーションタスクおよび4つの動的実世界タスク（動的ピッキング、ボールバランシング、オブジェクト受け渡し、サッカーキック）において、Real-Time EXPO-FTは10分のオンラインロボットデータで従来のリアルタイム手法およびRLファインチューニング手法を上回る性能を示しました。