SCOPE: Scale-Consistent One-Pass Estimation of 3D Geometry
Abstractの概要
SCOPEは、幾何学的な精度と長距離の時間的整合性の両方を維持しながら、長時間の単眼ビデオシーケンスから3Dジオメトリを推定する手法である。本モデルは、シーケンスレベルのスケールとシフトパラメータを共有することで、全フレームに対するアフィン不変な3Dポイントマップを予測するため、フレームごとに独立して処理されるのではなく、ビデオ全体にわたってスケールの一貫性が保たれた出力が得られる。その設計には、マルチスケールの幾何学的教師あり学習、共有参照フレームにおけるフレーム間の幾何学的制約、複数タイムスケールにわたる階層的な時間的教師あり学習、および長いシーケンスの補外に対応したシーケンス拡張を伴うNTK適応型回転位置エンコーディングが含まれている。この手法は、長い動画を1回のパスで処理し、MegaSAMのような下流の再構成パイプラインをサポートすることを目的としている。
新規性
本論文の主な特徴は、フレームごとのジオメトリを独立して予測するのではなく、シーケンス全体で共有されたアフィン曖昧性を明示的に適用する、1パスの単眼ビデオジオメトリ推定器である点である。また、視点不変のフレーム間ジオメトリ、外観不変の時間的教師あり学習、および周波数変調された位置補外を組み合わせることで、学習時に見たものよりもはるかに長いシーケンスを処理可能にしている。
成果
Sintel、ScanNet、Bonn、およびKITTIの各データセットにおいて、SCOPEは表1で報告された手法の中で最も高い平均ランクを達成している。ScanNetにおいて、従来の最先端手法と比較して相対ポイントマップ誤差を24.2%、時間的アライメント誤差を34.9%削減したと報告しており、表2ではビデオデプスベースラインと同等以上の精度を大幅に高速な処理で実現できることが示されている。長いシーケンスの場合、270フレームのクリップに対する1パス推論は、スライディングウィンドウ推論をわずかにではあるが常に上回り、定性的な再構成結果では、同一の下流処理環境下でMoGeよりも一貫した4D出力を生成することが示されている。
論文の注目点
- SCOPEは、数百フレームにわたるドリフトを削減することを目的として、シーケンスレベルで共有されたスケールの一貫性を持ちながら、単眼ビデオからフレームごとの3Dポイントマップを予測する。
- 本手法は、長距離の一貫性と補外精度を向上させるために、フレーム間幾何学損失、マルチスケールの時間的導関数を用いた学習、およびシーケンス拡張を伴うNTKスケーリング済みRoPEを導入している。
- 実験では、複数のデータセットにわたって優れた時間的アライメントと競争力のある幾何学精度が報告されるとともに、300フレームを約39.1 FPSで効率的に1パス処理できることが示されている。