論文の概要: GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2311.14521v4
• Date: Wed, 20 Dec 2023 14:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 21:37:30.165965
• Title: GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting
• Title（参考訳）: GaussianEditor: Swiftとコントロール可能な3D編集
• Authors: Yiwen Chen, Zilong Chen, Chi Zhang, Feng Wang, Xiaofeng Yang, Yikai Wang, Zhongang Cai, Lei Yang, Huaping Liu, Guosheng Lin
• Abstract要約: 3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
• 参考スコア（独自算出の注目度）: 66.08674785436612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D editing plays a crucial role in many areas such as gaming and virtual reality. Traditional 3D editing methods, which rely on representations like meshes and point clouds, often fall short in realistically depicting complex scenes. On the other hand, methods based on implicit 3D representations, like Neural Radiance Field (NeRF), render complex scenes effectively but suffer from slow processing speeds and limited control over specific scene areas. In response to these challenges, our paper presents GaussianEditor, an innovative and efficient 3D editing algorithm based on Gaussian Splatting (GS), a novel 3D representation. GaussianEditor enhances precision and control in editing through our proposed Gaussian semantic tracing, which traces the editing target throughout the training process. Additionally, we propose Hierarchical Gaussian splatting (HGS) to achieve stabilized and fine results under stochastic generative guidance from 2D diffusion models. We also develop editing strategies for efficient object removal and integration, a challenging task for existing methods. Our comprehensive experiments demonstrate GaussianEditor's superior control, efficacy, and rapid performance, marking a significant advancement in 3D editing. Project Page: https://buaacyw.github.io/gaussian-editor/
• Abstract（参考訳）: 3D編集はゲームや仮想現実など多くの分野で重要な役割を果たしている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 一方,neural radiance field(nerf)のような暗黙の3d表現に基づく手法では,複雑なシーンを効果的に描画するが,処理速度の低下や特定のシーン領域の制御が制限される。 これらの課題に応えて,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。 GaussianEditorは、トレーニングプロセスを通して編集対象をトレースする提案したGaussianセマンティックトレースを通じて、編集の精度と制御を強化する。 さらに,2次元拡散モデルから確率的生成誘導下での安定化および微細化を実現するために階層型ガウススプラッティング(HGS)を提案する。 また,オブジェクトの効率的な削除と統合のための編集戦略を開発し,既存の手法では難しい課題である。 総合的な実験により,gaussianeditorの優れた制御,有効性,高速性能が示され,3d編集の著しい進歩が示された。 プロジェクトページ: https://buaacyw.github.io/gaussian-editor/

関連論文リスト

• Drag Your Gaussian: Effective Drag-Based Editing with Score Distillation for 3D Gaussian Splatting [55.14822004410817]
  DYGは3次元ガウススプラッティングのための効果的な3次元ドラッグベース編集法である。 3次元マスクと一対の制御点を入力して編集範囲を正確に制御できる。 DYGは暗黙三面体表現の強さを統合し、編集結果の幾何学的足場を確立する。
  論文  参考訳（メタデータ） (2025-01-30T18:51:54Z)
• GaussianAvatar-Editor: Photorealistic Animatable Gaussian Head Avatar Editor [53.58201080040624]
  アニマタブルなガウシアンヘッドアバターのテキスト駆動編集のための革新的なフレームワークを提案する。 Gaussian Avatar-Editorは、表現、ポーズ、視点で完全に制御できる。
  論文  参考訳（メタデータ） (2025-01-17T06:40:20Z)
• 3DSceneEditor: Controllable 3D Scene Editing with Gaussian Splatting [31.98493679748211]
  ガウススプラッティングを用いた3次元シーンのリアルタイムかつ高精度な編集を行う3DceneEditorを提案する。 従来の方法とは異なり、3DSceneEditorは3Dパイプラインを通して動作し、効率よく高品質な編集のためにガウシアンを直接操作できる。
  論文  参考訳（メタデータ） (2024-12-02T15:03:55Z)
• GSEditPro: 3D Gaussian Splatting Editing with Attention-based Progressive Localization [11.170354299559998]
  本稿では,ユーザがテキストプロンプトのみを使用して,創造的で正確な編集を行うことのできる,新しい3Dシーン編集フレームワークであるGSEditProを提案する。 レンダリング中に各ガウス語に意味ラベルを追加するために、注意に基づくプログレッシブなローカライゼーションモジュールを導入する。 これにより、T2Iモデルのクロスアテンション層から派生した編集プロンプトとの関連性に基づいて、ガウスアンを分類することで、編集領域の正確なローカライズが可能になる。
  論文  参考訳（メタデータ） (2024-11-15T08:25:14Z)
• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
  オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
  論文  参考訳（メタデータ） (2024-04-29T17:59:30Z)
• GaussianEditor: Editing 3D Gaussians Delicately with Text Instructions [90.38892097863814]
  本稿では,3Dガウスアンによる3Dシーンをテキストで微妙に編集する,GaussianEditorという体系的フレームワークを提案する。 我々のフレームワークは、トレーニング速度をはるかに速くしながら、従来の方法よりも繊細で正確な3Dシーンの編集を実現できる。
  論文  参考訳（メタデータ） (2023-11-27T17:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。