論文の概要: EditSplat: Multi-View Fusion and Attention-Guided Optimization for View-Consistent 3D Scene Editing with 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2412.11520v2
- Date: Thu, 17 Apr 2025 20:10:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-21 15:46:21.29976
- Title: EditSplat: Multi-View Fusion and Attention-Guided Optimization for View-Consistent 3D Scene Editing with 3D Gaussian Splatting
- Title（参考訳）: EditSplat:多視点融合とアテンション誘導最適化による3Dガウススプレイティングによるビュー一貫性3Dシーン編集
- Authors: Dong In Lee, Hyeongcheol Park, Jiyoung Seo, Eunbyung Park, Hyunje Park, Ha Dam Baek, Sangheon Shin, Sangmin Kim, Sangpil Kim,
- Abstract要約: MFG(Multi-view Fusion Guidance)とAGT(Attention-Guided Trimming)を統合したテキスト駆動3Dシーン編集フレームワークEditSplatを提案する。
我々のMFGは、拡散過程に不可欠な多視点情報を組み込むことにより、多視点整合性を確保する。
我々のAGTは、3DGSの明示的な表現を利用して、3Dガウスを選択的にプーンし、最適化し、最適化効率を向上し、正確で意味的にリッチな局所的な編集を可能にする。
- 参考スコア（独自算出の注目度）: 3.9006270555948133
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advancements in 3D editing have highlighted the potential of text-driven methods in real-time, user-friendly AR/VR applications. However, current methods rely on 2D diffusion models without adequately considering multi-view information, resulting in multi-view inconsistency. While 3D Gaussian Splatting (3DGS) significantly improves rendering quality and speed, its 3D editing process encounters difficulties with inefficient optimization, as pre-trained Gaussians retain excessive source information, hindering optimization. To address these limitations, we propose EditSplat, a novel text-driven 3D scene editing framework that integrates Multi-view Fusion Guidance (MFG) and Attention-Guided Trimming (AGT). Our MFG ensures multi-view consistency by incorporating essential multi-view information into the diffusion process, leveraging classifier-free guidance from the text-to-image diffusion model and the geometric structure inherent to 3DGS. Additionally, our AGT utilizes the explicit representation of 3DGS to selectively prune and optimize 3D Gaussians, enhancing optimization efficiency and enabling precise, semantically rich local editing. Through extensive qualitative and quantitative evaluations, EditSplat achieves state-of-the-art performance, establishing a new benchmark for text-driven 3D scene editing.
- Abstract（参考訳）: 3D編集の最近の進歩は、リアルタイムでユーザフレンドリーなAR/VRアプリケーションにおけるテキスト駆動方式の可能性を強調している。
しかし、現在の手法は、マルチビュー情報を適切に考慮せずに2次元拡散モデルに依存しており、結果としてマルチビューの不整合が生じる。
3D Gaussian Splatting (3DGS)はレンダリング品質とスピードを大幅に改善するが、3D編集プロセスは非効率な最適化に直面する。
本稿では,MFG(Multi-view Fusion Guidance)とAGT(Attention-Guided Trimming)を統合したテキスト駆動3Dシーン編集フレームワークであるEditSplatを提案する。
我々のMFGは,テキスト・ツー・イメージ拡散モデルと3DGSに固有の幾何学的構造から分類器のないガイダンスを活用することにより,本質的な多視点情報を拡散プロセスに組み込むことにより,多視点整合性を確保する。
さらに、3DGSの明示的な表現を利用して、3Dガウスを選択的にプーンし、最適化し、最適化効率を向上し、正確でセマンティックにリッチな局所的な編集を可能にする。
EditSplatは、定性的かつ定量的な評価を通じて最先端のパフォーマンスを実現し、テキスト駆動の3Dシーン編集のための新しいベンチマークを確立する。
関連論文リスト
- EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - Advancing 3D Gaussian Splatting Editing with Complementary and Consensus Information [4.956066467858058]
テキスト誘導型3Dガウス版(3DGS)編集の視覚的忠実度と一貫性を向上させるための新しいフレームワークを提案する。
本手法は,最先端手法と比較して,レンダリング品質とビューの整合性に優れた性能を示す。
論文 参考訳（メタデータ） (2025-03-14T17:15:26Z) - 3DSceneEditor: Controllable 3D Scene Editing with Gaussian Splatting [31.98493679748211]
ガウススプラッティングを用いた3次元シーンのリアルタイムかつ高精度な編集を行う3DceneEditorを提案する。
従来の方法とは異なり、3DSceneEditorは3Dパイプラインを通して動作し、効率よく高品質な編集のためにガウシアンを直接操作できる。
論文 参考訳（メタデータ） (2024-12-02T15:03:55Z) - 3D Gaussian Editing with A Single Image [19.662680524312027]
本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。
提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。
実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-14T13:17:42Z) - DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。
我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
論文 参考訳（メタデータ） (2024-05-09T14:34:05Z) - DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。
この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。
このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
論文 参考訳（メタデータ） (2024-04-29T17:59:30Z) - View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
View-Consistent Editing (VcEdit)は、3DGSをシームレスに画像編集プロセスに組み込む新しいフレームワークである。
一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
論文 参考訳（メタデータ） (2024-03-18T15:22:09Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview
Correspondence-Enhanced Diffusion Models [83.97844535389073]
3Dコンテンツ編集の普及を妨げている大きな障害は、その時間集約的な処理である。
共振器の正規化を拡散モデルに組み込むことで,3次元編集のプロセスを大幅に高速化できることを示す。
多くのシナリオにおいて,提案手法はベースライン法と比較して10$times$の高速化を実現し,2分で3Dシーンの編集を完了させる。
論文 参考訳（メタデータ） (2023-12-13T23:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。