論文の概要: PanopticSplatting: End-to-End Panoptic Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2503.18073v1
- Date: Sun, 23 Mar 2025 13:45:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:34:12.998096
- Title: PanopticSplatting: End-to-End Panoptic Gaussian Splatting
- Title（参考訳）: Panoptic Splatting: End-to-End Panoptic Gaussian Splatting
- Authors: Yuxuan Xie, Xuan Yu, Changjian Jiang, Sitong Mao, Shunbo Zhou, Rui Fan, Rong Xiong, Yue Wang,
- Abstract要約: そこで我々は,オープン・ボキャブラリ・パノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノパノ
本手法では,クエリ誘導型ガウス分割と局所的クロスアテンションを導入し,クロスフレームアソシエーションなしで2次元のインスタンスマスクを持ち上げる。
本手法は,ScanNet-V2とScanNet++データセット上での3Dシーンパノビュータ再構成において,高い性能を示す。
- 参考スコア（独自算出の注目度）: 20.04251473153725
- License:
- Abstract: Open-vocabulary panoptic reconstruction is a challenging task for simultaneous scene reconstruction and understanding. Recently, methods have been proposed for 3D scene understanding based on Gaussian splatting. However, these methods are multi-staged, suffering from the accumulated errors and the dependence of hand-designed components. To streamline the pipeline and achieve global optimization, we propose PanopticSplatting, an end-to-end system for open-vocabulary panoptic reconstruction. Our method introduces query-guided Gaussian segmentation with local cross attention, lifting 2D instance masks without cross-frame association in an end-to-end way. The local cross attention within view frustum effectively reduces the training memory, making our model more accessible to large scenes with more Gaussians and objects. In addition, to address the challenge of noisy labels in 2D pseudo masks, we propose label blending to promote consistent 3D segmentation with less noisy floaters, as well as label warping on 2D predictions which enhances multi-view coherence and segmentation accuracy. Our method demonstrates strong performances in 3D scene panoptic reconstruction on the ScanNet-V2 and ScanNet++ datasets, compared with both NeRF-based and Gaussian-based panoptic reconstruction methods. Moreover, PanopticSplatting can be easily generalized to numerous variants of Gaussian splatting, and we demonstrate its robustness on different Gaussian base models.
- Abstract（参考訳）: オープン・ボキャブラリ・パノプティック・コンストラクションは,シーンの再構築と理解を同時に行う上で困難な課題である。
近年,ガウススプラッティングに基づく3次元シーン理解手法が提案されている。
しかし、これらの手法は多段階化されており、累積誤差や手書き部品の依存に悩まされている。
パイプラインの合理化とグローバルな最適化を実現するため,オープンボキャブラリ・パン光学再構築のためのエンドツーエンドシステムであるPanopticSplattingを提案する。
提案手法では,問合せ誘導型ガウス分割と局所的クロスアテンションを導入し,クロスフレームアソシエーションのない2Dインスタンスマスクをエンドツーエンドで持ち上げる。
ビューフラストラム内の局所的な横断的な注意は、トレーニングの記憶を効果的に減らし、よりガウス的や物体を持つ大きなシーンで、我々のモデルはよりアクセスしやすくする。
さらに,2次元擬似マスクにおけるノイズラベルの課題に対処するため,低ノイズフローターによる連続的な3次元セグメンテーションを促進するラベルブレンディングと,マルチビューのコヒーレンスとセグメンテーションの精度を高める2次元予測に対するラベルワープを提案する。
ScanNet-V2 と ScanNet++ の3次元画像再構成において,NeRF と Gaussian の両手法と比較して高い性能を示す。
さらに、PanopticSplattingはガウススプラッティングの多くの変種に容易に一般化することができ、異なるガウス基底モデルに対してその堅牢性を示す。
関連論文リスト
- CrossView-GS: Cross-view Gaussian Splatting For Large-scale Scene Reconstruction [5.528874948395173]
3D Gaussian Splatting (3DGS) はシーンの表現と再構築に顕著な手法である。
両ブランチ融合に基づく大規模シーン再構成のための新しいクロスビューガウス分割法を提案する。
本手法は,最先端の手法と比較して,新規なビュー合成における優れた性能を実現する。
論文 参考訳（メタデータ） (2025-01-03T08:24:59Z) - PG-SAG: Parallel Gaussian Splatting for Fine-Grained Large-Scale Urban Buildings Reconstruction via Semantic-Aware Grouping [6.160345720038265]
本稿では,分割処理とカーネル最適化の両方にセマンティックキューをフル活用した並列ガウス分割手法PG-SAGを提案する。
その結果, 建物表面の再構成におけるPG-SAGの優れた性能を示すことができた。
論文 参考訳（メタデータ） (2025-01-03T07:40:16Z) - Planar Gaussian Splatting [42.74999794635269]
Planar Gaussian Splatting (PGS)は、3D幾何学を学習し、シーンの3D平面を解析する新しいニューラルネットワーク手法である。
PGSは3次元平面ラベルや深度監視を必要とせず、3次元平面再構成における最先端の性能を達成する。
論文 参考訳（メタデータ） (2024-12-02T19:46:43Z) - MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction [84.07233691641193]
高品質な再構成のための神経信号距離場(SDF)とプリミティブを結合する新しい手法であるMonoGSDFを紹介する。
任意のスケールのシーンを扱うために,ロバストな一般化のためのスケーリング戦略を提案する。
実世界のデータセットの実験は、効率を保ちながら、以前の方法よりも優れています。
論文 参考訳（メタデータ） (2024-11-25T20:07:07Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。
既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。
本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
論文 参考訳（メタデータ） (2024-10-15T08:39:05Z) - MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis [22.80370814838661]
ボリュームレンダリングにおける最近の研究、例えばNeRFや3D Gaussian Splatting (3DGS)は、レンダリング品質と効率を大幅に向上させた。
4つの重要な貢献を具現化した新しい3DGS最適化手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T23:48:31Z) - FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。
ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-05-28T08:40:14Z) - latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-24T20:48:36Z) - Semantic Gaussians: Open-Vocabulary Scene Understanding with 3D Gaussian Splatting [27.974762304763694]
セマンティック・ガウシアン(Semantic Gaussians)は,3次元ガウシアン・スプレイティングをベースとした,新しいオープン語彙シーン理解手法である。
既存の手法とは異なり、様々な2次元意味的特徴を3次元ガウスの新たな意味的構成要素にマッピングする多目的投影手法を設計する。
我々は,高速な推論のために,生の3Dガウスから意味成分を直接予測する3Dセマンティックネットワークを構築した。
論文 参考訳（メタデータ） (2024-03-22T21:28:19Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。