論文の概要: Gaussian Grouping: Segment and Edit Anything in 3D Scenes

• arxiv url: http://arxiv.org/abs/2312.00732v1
• Date: Fri, 1 Dec 2023 17:09:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 13:47:05.004293
• Title: Gaussian Grouping: Segment and Edit Anything in 3D Scenes
• Title（参考訳）: Gaussian Grouping:3Dシーンのセグメンテーションと編集
• Authors: Mingqiao Ye, Martin Danelljan, Fisher Yu and Lei Ke
• Abstract要約: ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。 離散的でグループ化された3Dガウスアンは、視覚的品質、きめ細かい粒度、効率で、あらゆるものを3Dで再構成、分割、編集できることを示す。
• 参考スコア（独自算出の注目度）: 71.54526294251887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent Gaussian Splatting achieves high-quality and real-time novel-view synthesis of the 3D scenes. However, it is solely concentrated on the appearance and geometry modeling, while lacking in fine-grained object-level scene understanding. To address this issue, we propose Gaussian Grouping, which extends Gaussian Splatting to jointly reconstruct and segment anything in open-world 3D scenes. We augment each Gaussian with a compact Identity Encoding, allowing the Gaussians to be grouped according to their object instance or stuff membership in the 3D scene. Instead of resorting to expensive 3D labels, we supervise the Identity Encodings during the differentiable rendering by leveraging the 2D mask predictions by SAM, along with introduced 3D spatial consistency regularization. Comparing to the implicit NeRF representation, we show that the discrete and grouped 3D Gaussians can reconstruct, segment and edit anything in 3D with high visual quality, fine granularity and efficiency. Based on Gaussian Grouping, we further propose a local Gaussian Editing scheme, which shows efficacy in versatile scene editing applications, including 3D object removal, inpainting, colorization and scene recomposition. Our code and models will be at https://github.com/lkeab/gaussian-grouping.
• Abstract（参考訳）: 近年のガウシアン・スプラッティングは3Dシーンの高品質でリアルタイムなノベルビュー合成を実現している。 しかし、細粒度オブジェクトレベルのシーン理解に欠けるにもかかわらず、外観と幾何学的モデリングのみに集中している。 この問題に対処するために,gaussian splattingを拡張したgaussian groupingを提案する。 我々は、各ガウス語をコンパクトなアイデンティティエンコーディングで拡張し、ガウス語をオブジェクトインスタンスや3dシーンの物のメンバーシップに応じてグループ化できるようにする。 高価な3dラベルに頼る代わりに、samによる2dマスク予測を活用し、微分可能レンダリング中のidエンコーディングを監督し、3d空間一貫性の正規化を導入する。 暗黙的なNeRF表現と比較すると、離散的かつグループ化された3Dガウスは、高画質、微粒度、効率で、あらゆるものを3Dで再構成、分割、編集することができる。 ガウシアングルーピングに基づいて,3次元オブジェクトの除去,インパインティング,カラー化,シーンの再現など,多用途なシーン編集アプリケーションにおいて有効性を示す局所ガウシアン編集方式を提案する。 私たちのコードとモデルはhttps://github.com/lkeab/gaussian-groupingにあります。

関連論文リスト

• GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
  3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。 本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。 GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:51Z)
• TIGER: Text-Instructed 3D Gaussian Retrieval and Coherent Editing [12.50147114409895]
  本稿では,テキストによる3Dガウス検索と編集のための体系的アプローチ,すなわちTIGERを提案する。 本稿では,2次元画像編集拡散モデルと多視点拡散モデルを集約したコヒーレントスコア蒸留(CSD)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T11:37:17Z)
• Contrastive Gaussian Clustering: Weakly Supervised 3D Scene Segmentation [14.967600484476385]
  本稿では,任意の視点からセグメンテーションマスクを提供する新しいアプローチであるContrastive Gaussian Clusteringを紹介する。 本手法は,不整合な2次元セグメンテーションマスクを用いてトレーニングが可能であり,また,すべてのビューに一貫性のあるセグメンテーションマスクの生成も学べる。 結果のモデルは非常に正確で、予測されたマスクのIoU精度を、最先端で+8%以上向上させる。
  論文  参考訳（メタデータ） (2024-04-19T10:47:53Z)
• LoopGaussian: Creating 3D Cinemagraph with Multi-view Images via Eulerian Motion Field [13.815932949774858]
  シネマグラフ(Cinemagraph)は、静止画と微妙な動きの要素を組み合わせた視覚メディアの一種である。 本稿では,3次元ガウスモデルを用いて,2次元画像空間から3次元空間への撮影画像の高次化を提案する。 実験の結果,提案手法の有効性を検証し,高品質で視覚的に魅力的なシーン生成を実証した。
  論文  参考訳（メタデータ） (2024-04-13T11:07:53Z)
• GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting [52.150502668874495]
  GALA3D, GALA3D, 生成3D GAussian, LAyout-guided control, for effective compositional text-to-3D generation。 GALA3Dは、最先端のシーンレベルの3Dコンテンツ生成と制御可能な編集のための、ユーザフレンドリーでエンドツーエンドのフレームワークである。
  論文  参考訳（メタデータ） (2024-02-11T13:40:08Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• Compact 3D Scene Representation via Self-Organizing Gaussian Grids [10.816451552362823]
  3D Gaussian Splattingは、静的な3Dシーンをモデリングするための非常に有望なテクニックとして最近登場した。 本稿では3DGSのパラメータを局所的均一性を持つ2次元グリッドに整理したコンパクトなシーン表現を提案する。 本手法は,訓練時間の増加を伴わない複雑なシーンに対して,17倍から42倍の縮小係数を実現する。
  論文  参考訳（メタデータ） (2023-12-19T20:18:29Z)
• BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation [96.58789785954409]
  本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。 局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
  論文  参考訳（メタデータ） (2023-12-04T18:56:10Z)
• GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting [66.08674785436612]
  3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
  論文  参考訳（メタデータ） (2023-11-24T14:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。