論文の概要: PLGS: Robust Panoptic Lifting with 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2410.17505v1
- Date: Wed, 23 Oct 2024 02:05:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-24 13:55:55.473104
- Title: PLGS: Robust Panoptic Lifting with 3D Gaussian Splatting
- Title（参考訳）: PLGS:3Dガウススプラッティングによるロバストパノプティクスリフティング
- Authors: Yu Wang, Xiaobao Wei, Ming Lu, Guoliang Kang,
- Abstract要約: 雑音の多い2Dセグメンテーションマスクから3DGSが一貫した単眼セグメンテーションマスクを生成できるPLGSと呼ばれる新しい手法を提案する。
本手法は,従来の最先端手法よりもセグメンテーション品質と速度の両面で優れていた。
- 参考スコア（独自算出の注目度）: 16.333566122541022
- License:
- Abstract: Previous methods utilize the Neural Radiance Field (NeRF) for panoptic lifting, while their training and rendering speed are unsatisfactory. In contrast, 3D Gaussian Splatting (3DGS) has emerged as a prominent technique due to its rapid training and rendering speed. However, unlike NeRF, the conventional 3DGS may not satisfy the basic smoothness assumption as it does not rely on any parameterized structures to render (e.g., MLPs). Consequently, the conventional 3DGS is, in nature, more susceptible to noisy 2D mask supervision. In this paper, we propose a new method called PLGS that enables 3DGS to generate consistent panoptic segmentation masks from noisy 2D segmentation masks while maintaining superior efficiency compared to NeRF-based methods. Specifically, we build a panoptic-aware structured 3D Gaussian model to introduce smoothness and design effective noise reduction strategies. For the semantic field, instead of initialization with structure from motion, we construct reliable semantic anchor points to initialize the 3D Gaussians. We then use these anchor points as smooth regularization during training. Additionally, we present a self-training approach using pseudo labels generated by merging the rendered masks with the noisy masks to enhance the robustness of PLGS. For the instance field, we project the 2D instance masks into 3D space and match them with oriented bounding boxes to generate cross-view consistent instance masks for supervision. Experiments on various benchmarks demonstrate that our method outperforms previous state-of-the-art methods in terms of both segmentation quality and speed.
- Abstract（参考訳）: 従来の手法では、ニューラル・レージアンス・フィールド (Neural Radiance Field, NeRF) がパンオプティカル・リフトに使われていたが、トレーニングやレンダリングの速度は不十分であった。
対照的に、3D Gaussian Splatting (3DGS)は、高速なトレーニングとレンダリング速度のために顕著なテクニックとして現れている。
しかし、NeRFとは異なり、従来の3DGSは、レンダリングするパラメータ化された構造(例えば、MLP)に依存しないので、基本的な滑らかさの仮定を満たさないかもしれない。
したがって、従来の3DGSは、本質的にはノイズの多い2Dマスクの監視を受けやすい。
本論文では、3DGSがノイズの多い2Dセグメンテーションマスクから一貫したパノプティックセグメンテーションマスクを生成できるPLGSと呼ばれる新しい手法を提案する。
具体的には、スムーズさを導入し、効果的なノイズ低減戦略を設計するための3次元ガウスモデルを構築する。
意味論の分野では、動きの構造による初期化の代わりに、3Dガウスを初期化するために信頼できる意味的アンカー点を構築する。
次に、トレーニング中のスムーズな正規化として、これらのアンカーポイントを使用します。
さらに,このマスクをノイズマスクと組み合わせ,PLGSの堅牢性を高めることで,擬似ラベルを用いた自己学習手法を提案する。
インスタンスフィールドでは、2Dインスタンスマスクを3D空間に投影し、それらを向き付けられたバウンディングボックスとマッチングして、監督のためにクロスビュー一貫性のあるインスタンスマスクを生成する。
種々のベンチマーク実験により,本手法は,セグメント化品質と速度の両方の観点から,従来の最先端手法よりも優れていることが示された。
関連論文リスト
- LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳（メタデータ） (2024-05-29T05:58:34Z) - Mani-GS: Gaussian Splatting Manipulation with Triangular Mesh [44.57625460339714]
本稿では,3DGSを直接自己適応で操作する三角形メッシュを提案する。
提案手法は,高忠実度レンダリングを維持しつつ,大きな変形,局所的な操作,軟体シミュレーションを処理可能である。
論文 参考訳（メタデータ） (2024-05-28T04:13:21Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - Efficient 3D Instance Mapping and Localization with Neural Fields [39.73128916618561]
本稿では,RGB画像の列から3次元インスタンスセグメンテーションの暗黙的なシーン表現を学習する問題に取り組む。
本稿では,新しい視点から3Dインスタンスセグメンテーションマスクを描画するニューラルラベルフィールドを効率的に学習する新しいフレームワークである3DIMLを紹介する。
論文 参考訳（メタデータ） (2024-03-28T19:25:25Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳（メタデータ） (2024-01-31T14:19:03Z) - Segment Any 3D Gaussians [85.93694310363325]
本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。
入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。
我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-12-01T17:15:24Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。