NoPA: Non-Parametric Online 3D Scene Graph Generation
Abstractの概要
本論文は、RGB-D観測から得られる固定サイズのノンパラメトリックなパーティクル集合を用いて、従来の単一ガウス分布によるオブジェクト表現を置き換える、オンライン3Dシーングラフ生成手法「NoPA」を提案する。本手法は2段階の対応付け手順を使用し、明確なケースにはヘリンジャー距離によるプレフィルタリングを、曖昧な統合には最大平均差異（MMD）テストを適用し、その後KDEベースのリサンプリングを行ってオブジェクトごとのメモリを一定に保つ。また、ノイズの多い単一視点予測に起因する欠落エッジを復元するため、親和性の高いクラスタ内で関係性を伝播させる。実験では、3DSSGおよびReplicaSSGにおけるリアルタイムのオンライン3Dシーングラフ生成を対象とし、既存のオンライン手法と精度、レイテンシ、VRAM使用量を比較している。
新規性
主な新規性は、オンライン3Dシーングラフ生成において、従来のリアルタイム手法で用いられていた単一ガウス近似の代わりに、各オブジェクトに対して固定サイズのノンパラメトリックなパーティクル表現を使用している点である。また、この表現に特化した、MMDベースの分布レベルの統合基準と、親和性クラスタベースの関係性伝播メカニズムも導入している。
成果
3DSSGにおいて、256パーティクルを用いたNoPAは、関係性再現率53.2、オブジェクト再現率69.0、述語再現率61.4を記録し、同等のリアルタイムレイテンシ（27ms対22ms）とほぼ同じVRAM使用量（1206MB対1204MB）を維持しながら、再現されたFROSSベースライン（25.7、60.6、30.7）を上回った。ReplicaSSGでは、256パーティクルのNoPAが関係性再現率36.9、オブジェクト再現率28.6、述語再現率39.5を達成し、同等のレイテンシとメモリオーバーヘッドで再現されたFROSSの結果を改善した。アブレーション調査により、最大の性能向上は、ノンパラメトリック表現と専用のMMDベースの統合および関係性伝播コンポーネントを組み合わせたことによるものであることが示されている。
論文の注目点
- NoPAは、各オブジェクトをカーネル密度解釈を伴う固定サイズの3Dパーティクル集合としてモデル化し、メモリ容量に上限を設けながら単一ガウス分布よりも多くの幾何学的な特徴を保持する。
- オンライン融合ステップでは、計算コストの低いヘリンジャー距離によるプレフィルタを使用し、MMDを曖昧なペアにのみ適用することで、リアルタイム動作を損なうことなく統合のロバスト性向上を目指している。
- 3DSSGおよびReplicaSSGにおける定量的およびアブレーション評価の結果は、システム全体がわずかな遅延とメモリオーバーヘッドにて、既存のオンラインベースラインよりもオブジェクト、述語、関係性の再現率を向上させることを示している。
参考リンク
- arXiv: https://arxiv.org/abs/2607.00529v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2607.00529v1
- Hugging Face Papers: https://huggingface.co/papers/2607.00529