Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo Matching
Abstractの概要
Lite Any Stereo V2（LAS2）は、実際のデプロイ制約下でのゼロショット汎化を目的とした、効率的なステレオマッチングモデルのファミリです。本論文では、理論上のMAC数のみに頼るのではなく、GPUやエッジデバイスでの実測レイテンシを最適化するため、重い3Dコンポーネントを純粋な2Dコスト集約フレームワークに置き換えるようにアーキテクチャを再設計しています。また、大規模な合成データによる教師あり学習、自己蒸留、疑似ラベルからの実世界の知識蒸留を組み合わせた3段階の学習パイプラインを導入し、さらに疑似ラベルのフィルタリングとエラークランピングにより合成データから実データへの転移を安定させています。このモデルファミリには、異なる効率性の予算に応じたフィードフォワード型のバリアント（S/M/L）と、より高い精度を求める反復型のバリアント（H）が含まれます。
新規性
主な新規性は、デプロイ指向の2Dのみのステレオアーキテクチャと、効率的なゼロショットステレオマッチングのために特化して設計された段階的な学習手法を組み合わせた点にあります。また、左右の整合性チェック、エッジおよび空領域のフィルタリング、適応時のエラークランピング最適化を通じて、実世界の疑似ラベルによる教師データを改善した手法も特徴的です。
成果
4つのゼロショット実世界ベンチマーク全体において、LAS2-Mは従来のフィードフォワード型LASモデルよりも高速に動作しながら常に性能を上回り、LAS2-Hは大幅に低いレイテンシでFast-FoundationStereoよりも強力な総合性能を達成しています。報告された推論の高速化として、ベンチマーク精度を維持または向上させつつ、H200/Orin上でLAS2-MはLASに対して1.6倍/1.9倍、LAS2-HはFast-FoundationStereoに対して1.8倍/2.7倍となっています。DrivingStereoの天候別分割データにおいても、LAS2の各種バリアントは強い堅牢性を示し、効率的な反復型手法の中でLAS2-Hが最高の総合性能を達成しました。
論文の注目点
- LAS2は、ハイブリッドや3Dを多用する集約手法を、実際のデプロイ時の測定レイテンシに基づいて選択された純粋な2Dコスト集約設計に置き換え、サーバーGPUとエッジデバイスの両方で精度とレイテンシのトレードオフを改善している。
- 性能の要となるのは学習戦略であり、ゼロショットの転移性能を向上させるため、合成データによる事前学習、自己蒸留、実世界の疑似ラベル蒸留に加えて、疑似ラベルのフィルタリングとエラークランピングが組み合わされている。
- 実験より、本モデルが効率的なステレオ手法の中で最高水準の精度を達成し、主要なフィードフォワード型および反復型のベースラインよりも推論が高速であり、標準的なゼロショットおよび悪天候下の評価において競争力のある堅牢性を持つことが示された。