PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models
Abstractの概要
PolicyTrimは、推論遅延の側面からだけでなく、ポリシーの側面から視覚・言語・行動（VLA）モデルの展開効率を研究している。本論文では、総実行時間は、予測された各アクションチャンクのどれだけが確実に実行できるかと、ロボットがタスクを完了するために必要な物理的ステップ数の両方に依存すると主張している。これら2つの要因に対処するため、アクションチャンクの信頼できる実行可能ホライズンを延長し、次に冗長な物理的ステップを削減するという、2段階の強化学習ポストトレーニングフレームワークを提案している。この手法は、動的な実行ホライズン探索、ステップ節約の報酬、およびグループアンカー正則化を使用しており、モデルのアーキテクチャを変更したり、追加の専門家のデモンストレーションを必要とすることなく効率を向上させるように設計されている。
新規性
本論文の特徴的な貢献は、内在的なポリシー効率を計算中心の高速化手法と相補的な、VLA展開のための独立した最適化目標として位置づけたことである。PolicyTrimは、信頼性の高いチャンクの延長と冗長性を考慮したステップ削減を共同で目標とする2段階のRLポストトレーニング手法を導入しており、これにはグループベースのホライズン探索メカニズムや、不安定な近道への崩壊を防ぐための安定性正則化が含まれる。
成果
LIBERO、ManiSkill、Meta-World、および実ロボット環境において、PolicyTrimは概ね成功率を維持または向上させつつ、実行ステップ数と推論呼び出し回数を削減した。本論文によると、アクションチャンクの利用率が最大3倍向上し、物理的な実行ステップ数が51.4%削減され、エンドツーエンドの展開速度が最大5.83倍向上したほか、実世界のタスクでも平均1.86倍の高速化を達成した。これらの効果は複数のVLAバックボーンで確認されているが、標準的なOpenVLA-OFTの並列デコーディング設定では主にステップ削減段階から恩恵を受けることが示されている。
論文の注目点
- PolicyTrimは、展開時の推論呼び出し頻度を決定する2つの要因である、信頼性の高いアクションチャンクの実行長と総物理ステップ数を最適化することで、ポリシー効率を直接的に向上させる。
- 本手法は、信頼できるチャンク実行を延長するための動的ホライズン探索と、学習を不安定化させずに冗長な行動を削減するステップ節約報酬およびグループアンカー正則化を組み合わせている。
- 複数のベンチマークやバックボーン、実世界での実証実験により、タスクの成功率を維持しながら大幅な高速化が示されており、本アプローチがVLA-Cacheのような計算中心の手法と直交的かつ相補的であることが実証されている。