論文の概要: GaussianEditor: Swift and Controllable 3D Editing with Gaussian
Splatting
- arxiv url: http://arxiv.org/abs/2311.14521v4
- Date: Wed, 20 Dec 2023 14:35:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 21:37:30.165965
- Title: GaussianEditor: Swift and Controllable 3D Editing with Gaussian
Splatting
- Title(参考訳): GaussianEditor: Swiftとコントロール可能な3D編集
- Authors: Yiwen Chen, Zilong Chen, Chi Zhang, Feng Wang, Xiaofeng Yang, Yikai
Wang, Zhongang Cai, Lei Yang, Huaping Liu, Guosheng Lin
- Abstract要約: 3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。
メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。
本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
- 参考スコア(独自算出の注目度): 66.08674785436612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D editing plays a crucial role in many areas such as gaming and virtual
reality. Traditional 3D editing methods, which rely on representations like
meshes and point clouds, often fall short in realistically depicting complex
scenes. On the other hand, methods based on implicit 3D representations, like
Neural Radiance Field (NeRF), render complex scenes effectively but suffer from
slow processing speeds and limited control over specific scene areas. In
response to these challenges, our paper presents GaussianEditor, an innovative
and efficient 3D editing algorithm based on Gaussian Splatting (GS), a novel 3D
representation. GaussianEditor enhances precision and control in editing
through our proposed Gaussian semantic tracing, which traces the editing target
throughout the training process. Additionally, we propose Hierarchical Gaussian
splatting (HGS) to achieve stabilized and fine results under stochastic
generative guidance from 2D diffusion models. We also develop editing
strategies for efficient object removal and integration, a challenging task for
existing methods. Our comprehensive experiments demonstrate GaussianEditor's
superior control, efficacy, and rapid performance, marking a significant
advancement in 3D editing. Project Page:
https://buaacyw.github.io/gaussian-editor/
- Abstract(参考訳): 3D編集はゲームや仮想現実など多くの分野で重要な役割を果たしている。
メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。
一方,neural radiance field(nerf)のような暗黙の3d表現に基づく手法では,複雑なシーンを効果的に描画するが,処理速度の低下や特定のシーン領域の制御が制限される。
これらの課題に応えて,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
GaussianEditorは、トレーニングプロセスを通して編集対象をトレースする提案したGaussianセマンティックトレースを通じて、編集の精度と制御を強化する。
さらに,2次元拡散モデルから確率的生成誘導下での安定化および微細化を実現するために階層型ガウススプラッティング(HGS)を提案する。
また,オブジェクトの効率的な削除と統合のための編集戦略を開発し,既存の手法では難しい課題である。
総合的な実験により,gaussianeditorの優れた制御,有効性,高速性能が示され,3d編集の著しい進歩が示された。
プロジェクトページ: https://buaacyw.github.io/gaussian-editor/
関連論文リスト
- GSEdit: Efficient Text-Guided Editing of 3D Objects via Gaussian
Splatting [0.5639845890789771]
本稿では,Gaussian Splattingモデルに基づくテキスト誘導型3Dオブジェクト編集パイプラインであるGSEditを紹介する。
本手法では, 3Dオブジェクトの形状や外観の編集を, 消費者ハードウェア上で数分で行うことなく行うことができる。
論文 参考訳(メタデータ) (2024-03-08T08:42:23Z) - Segment Anything in 3D Gaussians [69.68566640585671]
ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T14:19:03Z) - Plasticine3D: Non-rigid 3D editting with text guidance [24.75903764018142]
プラスチック3Dは、汎用的で、高忠実で、フォトリアリスティックで、制御可能な非剛性編集パイプラインである。
本研究は, 編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し, より詳細な, フォトリアリスティックな結果を得る。
論文 参考訳(メタデータ) (2023-12-15T09:01:54Z) - Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。
歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。
私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
論文 参考訳(メタデータ) (2023-12-11T18:59:31Z) - Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled
Feature Fields [56.29505969704035]
ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。
3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。
この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
論文 参考訳(メタデータ) (2023-12-06T00:46:30Z) - Gaussian Grouping: Segment and Edit Anything in 3D Scenes [71.54526294251887]
ガウシアン・グルーピング(ガウシアン・グルーピング)はガウシアン・スプラッティングを拡張して,オープンワールドの3Dシーンで何かを共同で再構築・分割する。
離散的でグループ化された3Dガウスアンは、視覚的品質、きめ細かい粒度、効率で、あらゆるものを3Dで再構成、分割、編集できることを示す。
論文 参考訳(メタデータ) (2023-12-01T17:09:31Z) - GaussianEditor: Editing 3D Gaussians Delicately with Text Instructions [96.97338816861813]
本稿では,3Dガウスアンによる3Dシーンをテキストで微妙に編集する,GaussianEditorという体系的フレームワークを提案する。
我々のフレームワークは、トレーニング速度をはるかに速くしながら、従来の方法よりも繊細で正確な3Dシーンの編集を実現できる。
論文 参考訳(メタデータ) (2023-11-27T17:58:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。