ORBIT++: Benchmarking SfM in the Wild with 360° Video
Abstractの概要
本論文では、オンラインの360度映像から得られた難度の高い実世界動画においてStructure-from-Motion（SfM）およびカメラ姿勢推定を評価するための、ORBITベンチマークの更新版であるORBIT++を提案しています。このベンチマークは、カスタムのリグベースSfMパイプラインを用いて全天球パノラマ動画から擬似グラウンドトゥルース軌跡を推定し、多様な視野角と回転パターンを持つ挑戦的な透視投影クリップをレンダリングすることで構築されています。フィルタリングと検証を経て、データセットには77本の固有の360度動画から抽出された308本のクリップが含まれ、低テクスチャ、暗所、高速運動、群衆、一人称視点撮影、流体運動などのシナリオを網羅しています。著者らは、既存の合成データセットや単純なデータセットでは野生環境における失敗ケースを十分に反映できない設定において手法を検証する手段として、本ベンチマークを位置づけています。
新規性
独自の貢献は、全方位の全視野にわたって信頼性の高いカメラ軌跡を復元するためにウェブ上の360度パノラマ動画を活用し、同一の動画から難度の高い透視投影ビューのベンチマーククリップを生成する点にあります。この構成により、グラウンドトゥルース構築に使用される全方位情報と、評価時に使用される限定的な視野の透視投影入力とが分離されます。
成果
ORBIT上での評価において、従来手法、最適化ベースの手法、フィードフォワード手法のいずれも苦戦し、評価されたすべてのベースラインで失敗率が36%を超えました。MegaSaMおよびRoMo+MegaSaMは最も低い平均絶対軌跡誤差（0.67mおよび0.59m）を達成したものの、依然としてクリップの39.09%および38.56%で失敗しており、一方でCOLMAPは56.49%で失敗し、ORB-SLAM2、VGGT-Long、MonST3Rは評価閾値下で94%以上のクリップにおいて失敗しました。グラウンドトゥルース生成パイプラインは、360Locデータセットで0.07±0.04m、Synthetic 360で0.0±0.0mのATEを達成し、その高い忠実度が確認されています。
論文の注目点
- ORBIT++は、全天球パノラマ上で軌跡を推定した後に制御された回転と視野角を持つ難度の高い透視投影クリップをレンダリングすることで、360度ウェブ動画から挑戦的なSfMベンチマークを構築しています。
- 本ベンチマークには77本のソース動画から検証された308本のクリップが含まれ、低テクスチャ、暗所照明、高速なカメラ移動、群衆、一人称視点運動、流体シーンなど、複数の実世界の困難なカテゴリを明示的にカバーしています。
- 評価されたベースライン全体を通じてORBIT上で堅牢な手法は存在せず、最高性能の手法であっても失敗率は約39%にとどまり、課題分析によってバンドル調整ベースのアプローチとフィードフォワードアプローチの間で異なる失敗傾向が明らかになりました。