論文の概要: Gaussian Grouping: Segment and Edit Anything in 3D Scenes
- arxiv url: http://arxiv.org/abs/2312.00732v1
- Date: Fri, 1 Dec 2023 17:09:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 13:47:05.004293
- Title: Gaussian Grouping: Segment and Edit Anything in 3D Scenes
- Title(参考訳): Gaussian Grouping:3Dシーンのセグメンテーションと編集
- Authors: Mingqiao Ye, Martin Danelljan, Fisher Yu and Lei Ke
- Abstract要約: ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
離散的でグループ化された3Dガウスアンは、視覚的品質、きめ細かい粒度、効率で、あらゆるものを3Dで再構成、分割、編集できることを示す。
- 参考スコア(独自算出の注目度): 71.54526294251887
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent Gaussian Splatting achieves high-quality and real-time novel-view
synthesis of the 3D scenes. However, it is solely concentrated on the
appearance and geometry modeling, while lacking in fine-grained object-level
scene understanding. To address this issue, we propose Gaussian Grouping, which
extends Gaussian Splatting to jointly reconstruct and segment anything in
open-world 3D scenes. We augment each Gaussian with a compact Identity
Encoding, allowing the Gaussians to be grouped according to their object
instance or stuff membership in the 3D scene. Instead of resorting to expensive
3D labels, we supervise the Identity Encodings during the differentiable
rendering by leveraging the 2D mask predictions by SAM, along with introduced
3D spatial consistency regularization. Comparing to the implicit NeRF
representation, we show that the discrete and grouped 3D Gaussians can
reconstruct, segment and edit anything in 3D with high visual quality, fine
granularity and efficiency. Based on Gaussian Grouping, we further propose a
local Gaussian Editing scheme, which shows efficacy in versatile scene editing
applications, including 3D object removal, inpainting, colorization and scene
recomposition. Our code and models will be at
https://github.com/lkeab/gaussian-grouping.
- Abstract(参考訳): 近年のガウシアン・スプラッティングは3Dシーンの高品質でリアルタイムなノベルビュー合成を実現している。
しかし、細粒度オブジェクトレベルのシーン理解に欠けるにもかかわらず、外観と幾何学的モデリングのみに集中している。
この問題に対処するために,gaussian splattingを拡張したgaussian groupingを提案する。
我々は、各ガウス語をコンパクトなアイデンティティエンコーディングで拡張し、ガウス語をオブジェクトインスタンスや3dシーンの物のメンバーシップに応じてグループ化できるようにする。
高価な3dラベルに頼る代わりに、samによる2dマスク予測を活用し、微分可能レンダリング中のidエンコーディングを監督し、3d空間一貫性の正規化を導入する。
暗黙的なNeRF表現と比較すると、離散的かつグループ化された3Dガウスは、高画質、微粒度、効率で、あらゆるものを3Dで再構成、分割、編集することができる。
ガウシアングルーピングに基づいて,3次元オブジェクトの除去,インパインティング,カラー化,シーンの再現など,多用途なシーン編集アプリケーションにおいて有効性を示す局所ガウシアン編集方式を提案する。
私たちのコードとモデルはhttps://github.com/lkeab/gaussian-groupingにあります。
関連論文リスト
- GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided
Generative Gaussian Splatting [54.39663556987393]
GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。
GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
論文 参考訳(メタデータ) (2024-02-11T13:40:08Z) - Segment Anything in 3D Gaussians [69.68566640585671]
ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T14:19:03Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳(メタデータ) (2024-01-08T18:56:33Z) - Compact 3D Scene Representation via Self-Organizing Gaussian Grids [11.604386285817302]
局所的均一性を持つ2次元格子に3次元ガウス格子のパラメータを整理したコンパクトなシーン表現を導入する。
本手法は,3次元シーンの分布と消費の領域において,トレーニング時間の増加を伴わず,複雑なシーンの8倍から26倍の縮小係数を達成している。
論文 参考訳(メタデータ) (2023-12-19T20:18:29Z) - BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D
Scene Generation [96.58789785954409]
本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。
局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
論文 参考訳(メタデータ) (2023-12-04T18:56:10Z) - GaussianEditor: Swift and Controllable 3D Editing with Gaussian
Splatting [66.08674785436612]
3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。
メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。
本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
論文 参考訳(メタデータ) (2023-11-24T14:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。