Pano3D: Unified 3D Reconstruction and Panoptic Segmentation
Abstractの概要
Pano3Dは、ポーズ予測のないRGB画像の集合から直接、3D再構成および3Dパノプティックセグメンテーションを実行する統合フレームワークです。この手法はフィードフォワード型の再構成モデルを基盤としており、ヒューリスティックなクラスタリングや補助的な2Dモデルを必要とせずに、シーケンス全体で一貫したセマンティックマスクとインスタンスマスクを予測するMask2Formerスタイルの集合ベースマスクデコーダを追加しています。デコーダの特徴量はエンコーダおよびクロスビューのジオメトリ特徴量の両方から適応され、幾何学的および意味的な目的関数を用いて共同でトレーニングされます。本論文では、ScanNet、ScanNet200、およびScanNet++を用いてこのアプローチを評価し、このフレームワークがオンラインのメモリベースの再構成バックボーンと、all-to-allアテンションの再構成バックボーンの両方に組み込めることを示しています。
新規性
主な新規性は、再構成バックボーンにクエリベースのマスクデコーダを追加し、それらを共同でファインチューニングすることにより、フィードフォワードの3D再構成と3Dパノプティックセグメンテーションを統合する単一の微分可能なアーキテクチャにあります。最近のいくつかの代替手法とは異なり、この手法は推論時のクラスタリングや明示的な多視点一貫性のヒューリスティクスを回避しており、2つの異なるバックボーンファミリーで有効であることが実証されています。
成果
メッシュベースのUNITE評価では、MUSt3Rバックボーンを備えたPano3Dが、ScanNet、ScanNet200、ScanNet++全体で最先端の3Dセマンティックセグメンテーション結果を報告し、ScanNetおよびScanNet200における従来のRGB専用ベースラインと比較してクラス非依存の3DインスタンスAPを向上させています。ScanNet++のボクセルベースのIGGT評価では、Pi3バックボーンを用いたPano3Dがベースモデルに近い再構成品質を維持しつつ、52.54の2D mIoUと29.46の3D mIoUを達成しました。アブレーション調査により、ジオメトリとセマンティクスの同時トレーニングがインスタンスのローカリゼーションを向上させ、特徴量を凍結した場合と比較して多視点の幾何学的一貫性を維持、あるいは向上させ得ることが示されています。
論文の注目点
- Pano3Dは、事前学習済みのフィードフォワード再構成モデルに集合ベースのパノプティックデコーダを追加し拡張することで、ポーズ予測のないRGB画像から3Dで一貫性のあるセマンティクスクラスとインスタンスマスクを予測可能にする。
- 本フレームワークは再構成とセグメンテーションのタスクで共同トレーニングされ、勾配スケーリングを用いて幾何学的な品質を保ちつつ、セマンティックな教師信号が共有デコーダ特徴量を洗練させることを可能にする。
- 実験とアブレーションにより、ScanNetベンチマーク全体で強力なセマンティックおよびインスタンスセグメンテーション性能が実証された一方、非常に乱雑なシーンではクエリベースのマスクが密集した物体を結合してしまうという限界も明らかになった。