AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World
Abstractの概要
本論文は、地上レベルのデータで訓練されたモデルにおいて実質的なドメインギャップが見られる、UAV（無人航空機）空撮画像における単眼メトリック深度推定について研究している。評価と適応を支援するため、著者らは4つのサブセット（現実世界の斜め写真測量データ、制御され変数を分離したUAVテストセット、写実的な合成データ、疑似メトリックラベルを持つ野外のインターネットドローン動画）から構成されるベンチマーク「AerialMetric」を導入した。このデータセットには、メトリックまたは疑似メトリックの教師データを持つ5.2万枚の現実および1.6万枚の合成画像と深度のペアが含まれており、視点、高度、カメラの視野角の影響を分析するように設計されている。このベンチマークを使用して、既存のいくつかのメトリック深度推定モデルを評価し、代表的なモデルをファインチューニングして、航空特有の訓練が性能にどのような変化をもたらすかを評価している。
新規性
主な新規性は、大規模な現実および合成データと、2つの特徴的な評価設定（変数を分離した取得プロトコルと、野外の疑似メトリックテストセット）を組み合わせた、UAVに焦点を当てたメトリック深度ベンチマークを構築した点である。この構成により、従来の深度ベンチマークでは通常絡み合っているか欠落している空撮の要因について、系統的な分析が可能になる。
成果
実験により、既存のゼロショットのメトリック深度モデルは空撮画像への転移が不十分であり、AerialMetricにおいて非常に高いAbsRel（絶対相対誤差）とほぼゼロのδ1を示すことが多いことが明らかになった。AerialMetricでMoGe2をファインチューニングしたところ、航空ベンチマーク全体で性能が大幅に向上し、例えば正解の内部パラメータがないAerialMetric-Oblique-Cityではδ1が5.1から89.3に上昇し、AerialMetric-Wild（0〜400m）ではAbsRelが55.26から21.34に減少し、δ1は9.5から53.7に増加した。適応されたモデルは複数の地上ドメインのベンチマークにおいても競争力を維持しており、クロスドメインの汎化能力の低下が限定的であることも示された。
論文の注目点
- AerialMetricは、厳選された実際のUAV画像、制御され変数を分離して取得したデータ、合成訓練データ、および野外の空撮動画を網羅する4つの補完的なサブセットを組み合わせている。
- このベンチマークにより、地上データで訓練された単眼メトリック深度モデルとUAVの空撮視点との間にある深刻なドメインギャップ（高度、ピッチ、視野角への感度など）が浮き彫りになった。
- AerialMetricである代表的なモデルをファインチューニングすることで、複数の地上ドメインのデータセットにおける競争力を維持しつつ、空撮深度推定において大幅な性能向上が得られる。