IntentNav: Learning Spatial-Visual Object Navigation from Human Demonstrations
Abstractの概要
IntentNavは、低レベルの行動模倣のみに依存するのではなく、人間のデモンストレーションから人間に似た探索ポリシーを学習するObjectNav向けのフレームワークである。本手法は、フロンティアベースのヒューマンインテントラベリングを用いて、低レベルの人間の軌跡を候補レベルの教師データに変換し、どのフロンティアがデモンストレータの将来の探索方向に最も一致するかを推論する。また、ナビゲーションの意思決定を、永続的な空間的記憶、候補固有の自己中心的な視覚的記憶、およびエージェント中心の幾何学を組み合わせた、共有の鳥瞰図（BEV）候補空間で表現する。その後、探索中の方向の整合性を維持するように設計されたインテントアライン目的関数を使用して、グラウンディングされたフロンティアまたはターゲット候補の中から選択を行う視覚言語モデルを訓練する。
新規性
本論文の主な新規性は、フロンティアの進化を通じて低レベルの人間のデモンストレーションから高レベルの探索意図を推論する、候補レベルの空間的・視覚的模倣フレームワークである。また、自由形式の座標や低レベルの行動を予測するのではなく、視覚的記憶と幾何学とをペアにすることで探索フロンティアとターゲット選択の両方をグラウンディングする、統合されたBEV候補インターフェースを導入している点も新規である。
成果
IntentNavは、MP3D、HM3D-v1、およびHM3D-v2のObjectNavベンチマークにおいて、学習ベースの手法の中で最高水準の性能を報告しており、MP3Dで53.8/23.1、HM3D-v1で70.5/34.6、HM3D-v2で82.2/38.5のSR/SPLを達成している。アブレーション研究により、候補の視覚的記憶、エージェント中心の幾何学、予約済み候補IDの選択、およびインテントアライン目的関数が、性能の向上とより指向性の高い探索行動にそれぞれ貢献していることが示されている。さらに、MP3Dで訓練された同一のチェックポイントは、車輪型、四足歩行型、およびヒューマノイドロボットにゼロショットでデプロイされ、高レベルのポリシー推論にかかる時間は約0.8秒であった。
論文の注目点
- フロンティアベースのヒューマンインテントラベリングは、将来のフロンティアの進化を推論することで、低レベルの人間のデモンストレーションを候補レベルの教師データに変換する。
- IntentNavのポリシーは、空間的記憶、候補に合わせた自己中心的な視覚的証拠、および明示的な相対幾何学を統合的に使用するBEV候補空間で機能する。
- 本手法は強力なベンチマークの汎化性能と実世界への転移性を示しており、3つのObjectNavベンチマークで最高水準の学習ベースの性能を記録し、複数のロボット形態にわたるゼロショットのデプロイを達成している。