LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation
Abstractの概要
本論文は、クラウド上のフロンティアモデルに依存するのではなく、リソースに制約のあるロボット上で視覚言語推論（VLM）を直接実行することを目指した、シーングラフベースの物体目標ナビゲーションシステムであるLocalNavを提示する。この手法は、シミュレーションで収集された約500の成功した教師推論経路を使用し、大規模VLMからの空間・意味的推論を軽量な40億パラメータのローカルモデルに蒸留する。このシステムは、明示的なシーングラフ上での高レベルなVLMの決定と、別個の低レベルなナビゲーションポリシーを組み合わせ、トークン長正則化を伴う実体化強化学習（embodied RL）を適用して推論のオーバーヘッドを削減する。本論文では、HM3D OVONでのシミュレーション評価、Jetson Orin AGXでのレイテンシ検証、および現実のアパート空間での連続的なObjectNavタスクのデモンストレーションを行っている。
新規性
最大の特徴は、モジュール式のシーングラフナビゲーションアーキテクチャを維持しつつ、クラウドのフロンティアVLMから40億パラメータのローカルVLMへと高次元のObjectNav推論を転移させる、デプロイメントを最優先としたパイプラインである。また、タスクの精度だけでなく、デバイス上での実行に向けてVLMの出力を明示的に最適化するために、トークン生成の正則化を伴うE-RLVRを導入している点も新しい。
成果
ベンチマーク評価において、フロンティアモデル版はHM3D OVONで39.7％の成功率（SR）を達成し、蒸留されたQwen3.5-4Bモデルは34.5％を達成しており、クラウドシステムとの性能差は比較的小さい。アブレーション実験では、特権アクション設定において、Claudeから蒸留されたQwenはRL適用前で47%のSR、SFTとE-RLVRの適用後で49%のSRを達成し、出力長は72.1%、レイテンシは71.8%削減された。Jetson Orin AGX上でIQ4-XS量子化を用いた場合、エピソードあたりの平均合計実行時間はSFTモデルの305.2秒から52.5秒へと短縮され、大きな性能低下を伴わずに全体で82.8%のレイテンシ削減を実現した。
論文の注目点
- LocalNavはモジュール式のシーングラフ表現を使用しており、VLMがスパースな高レベルの決定を下す一方で、低レベルの制御は別個のナビゲーションポリシーによって処理される。
- フロンティアモデルからの少量の教師データ（約500の成功した推論経路）で、オープン語彙のObjectNav向けに40億パラメータのローカルVLMを大幅に改善することができる。
- 簡潔さを促す正則化を伴う実体化強化学習と量子化の組み合わせにより、トークン生成と推論レイテンシが劇的に削減され、蒸留モデルのエッジデバイスへの導入がより実用的になる。