Towards Active Cross-View Object Geo-Localization
Abstractの概要
本論文では、単一の固定クエリ画像に依存するのではなく、モバイルエージェントが追加の視点を逐次的に取得し、いつ探索を停止するかを決定するクロスビュー物体地理位置特定（geo-localization）の再定式化であるActiveGeoを提案しています。この設定に対処するため、著者らはMoPTをベースにしたActiveMoPTを提案しており、これはマルチビュープロンプト保持適応、軌道誘導ポリシー初期化、コスト認識ポリシー改良の3段階パイプラインで構成されています。本手法は、後続のプロンプトなしビューにわたって初期ターゲットプロンプトを保持しつつ、視点選択と停止動作を共同で学習するように設計されています。また著者らは、MoP-UAVを超えた汎化性能を評価するため、858のシーンと1,716のターゲットアノテーションを含むゼロショットベンチマークActiveGeo-858を構築しました。
新規性
主な新規性は、受動的なクロスビュー物体地理位置特定を、エージェントが情報価値の高い視点を動的に選択し停止時期を学習する能動的意思決定フレームワークへと拡張した点にあります。手法面では、プロンプトを保持するマルチビュー適応に加え、軌道初期化および強化学習による改良を通じて学習されるコスト認識ポリシーを導入しています。
成果
ActiveMoPTは最小限のクエリビュー数で受動的なベースラインを上回り、ポイントプロンプト下のMoP-UAVにおいて、1ビューのMoPTによる0.368 mIoUに対し、平均1.291ビューで0.384 mIoUを達成しました。ゼロショットのActiveGeo-858では、MoPTの0.381に対し、平均1.195ビューで0.391 mIoUを達成しています。さらにGRPOによるポリシー改良により、マルチモーダルプロンプト下のMoP-UAVにおいて、平均ビュー数を1.886から1.450に削減しつつ位置特定精度を0.414 mIoUに向上させました。
論文の注目点
- ActiveGeoは、クロスビュー物体地理位置特定を動的な視点選択と停止基準を伴う能動的逐次意思決定タスクとして再定式化している。
- ActiveMoPTは、初期プロンプトの同一性を保持しながら後続のプロンプトなしビューを集約する3段階のフレームワークを採用している。
- 本モデルはMoP-UAVにおいて少ないビュー数で最先端の精度を達成し、新しいActiveGeo-858データセットでのゼロショット転移性能も実証している。