EPS3D: End-to-End Feed-Forward 3D Panoptic Segmentation
Abstractの概要
EPS3Dは、カメラポーズが未知の多視点画像からオープンボキャブラリの3Dパノプティックセグメンテーションを行うための、エンドツーエンドのフィードフォワード・フレームワークです。この手法は、個別に抽出された2D特徴を3Dへ統合する従来の手法に頼らず、形状、外観、セマンティック特徴、およびインスタンス特徴を統合してエンコードする一連の3Dパノプティック・ガウシアンを直接予測します。学習には2D基盤モデルからの蒸留を用いるとともに、セマンティックなガイダンスでインスタンス特徴を洗練し、インスタンス構造を用いてセマンティック特徴を正則化する「セマンティック-インスタンス相互強化」の設計を採用しています。本論文では、ScanNetとReplicaを用いた手法の評価を行い、ロボットマニピュレーションや3Dシーン編集といった下流タスクでの活用例も示しています。
新規性
本論文では、EPS3Dを、画像からのオープンボキャブラリ3Dパノプティックセグメンテーションを実現する初のエンドツーエンドのフィードフォワード・フレームワークとして位置づけ、事前計算された視点ごとのセマンティック特徴を用いる2段階のパイプラインの代わりに、統一された3D表現を直接予測する点を特徴としています。もう一つの独自の要素は、Sem2InsおよびIns2Semモジュールを通じてカテゴリレベルとオブジェクトレベルの手がかりを結合する、明示的なセマンティック-インスタンス相互強化メカニズムです。
成果
ScanNetおよびReplicaを用いた2視点および多視点の設定の両方において、EPS3Dは効率性を維持しながらも、比較対象のベースラインを上回るセマンティックおよびインスタンスセグメンテーションの性能を報告しています。8視点の設定では、新規視点のセマンティックmIoUがScanNetで0.6169、Replicaで0.4833を達成し、パノプティック評価（PQ）はScanNetで0.5304、Replicaで0.3539に達しました。さらに、1シーンあたり約1秒という高速な推論時間を報告しており、ロボットによる把持や3Dシーン編集での定性的な応用例も示しています。
論文の注目点
- EPS3Dは、多視点RGB画像から3Dパノプティック・ガウシアンを直接予測し、単一のフィードフォワード・フレームワーク内で形状、外観、セマンティクス、およびインスタンスを統合的にモデリングする。
- 学習戦略は、2D教師モデルからの蒸留と、セマンティックな情報でインスタンス特徴を洗練させ、インスタンスの関係性でセマンティックの一貫性を強める相互強化モジュールを組み合わせている。
- ScanNetおよびReplicaでの実験により、既存のベースラインに対するセマンティック、インスタンス、およびパノプティック性能の向上が示され、ロボットマニピュレーションや3Dシーン編集での応用も実証されている。