Visual Navigation Transformer with Pose Attention
Abstractの概要
本論文では、環境を時系列の観測履歴や明示的な地図としてではなく、カメラ姿勢によってインデックス付けされた深度キーフレームの集合として表現する視覚ナビゲーションTransformer「VNT-PA」を提案しています。このモデルはカメラ姿勢を回転位置埋め込み（RoPE）として利用するため、アテンションはフレーム間の姿勢差に依存し、ロボットの姿勢と目標位置のみを用いてこの空間コンテキストに問い合わせることで行動を予測します。正解のシーンメッシュ上で動作する最短経路プランナーを模倣するように訓練され、HM3D検証シーンにおけるポイントゴールナビゲーションで評価されています。本研究は、姿勢情報が付与された過去の観測が、以前に探索された環境での計画を直接支援できるかどうかに焦点を当てています。
新規性
特徴的な貢献は、明示的な地図に変換したり時系列シーケンスとして整理したりすることなく、姿勢情報付きキーフレーム自体を学習型プランナーの環境表現として扱う点にあります。また、姿勢に基づく回転位置埋め込みを通じて、時間順序や特徴量入力としての姿勢ではなく、姿勢差をTransformerアテンションの基礎としています。
成果
HM3D検証シーンにおいて、VNT-PAは成功率93.3%、SPL 90.4%を達成し、同じコンテキストを時系列、再帰型状態、または入力特徴量としての姿勢として使用するベースラインを上回りました。また、学習中により早く高い性能に到達し、テスト時における追加フレームの付加から恩恵を受け、同じ観測から構築された従来のOctoMapとA*を組み合わせたパイプラインよりも自己位置推定ノイズによる劣化が抑えられました。
論文の注目点
- VNT-PAは過去の深度観測を姿勢でインデックス付けされた空間コンテキストとして整理し、明示的な地図や現在の視覚入力を必要とせずにナビゲーションの意思決定のために直接クエリを行います。
- カメラ姿勢を回転位置埋め込みとして使用することで有用な帰納バイアスが提供され、時間的アテンションや姿勢を入力特徴量とするベースラインと比較して、長距離かつ迂回が多いナビゲーションが改善されます。
- この表現は柔軟であり、テスト時に以前の軌道やオンラインのロボット視点からの追加フレームを統合でき、自己位置推定誤差に対しても比較的堅牢性を維持します。