論文の概要: EditSplat: Multi-View Fusion and Attention-Guided Optimization for View-Consistent 3D Scene Editing with 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2412.11520v1
• Date: Mon, 16 Dec 2024 07:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:00:48.867599
• Title: EditSplat: Multi-View Fusion and Attention-Guided Optimization for View-Consistent 3D Scene Editing with 3D Gaussian Splatting
• Title（参考訳）: EditSplat:多視点融合とアテンション誘導最適化による3Dガウススプレイティングによるビュー一貫性3Dシーン編集
• Authors: Dong In Lee, Hyeongcheol Park, Jiyoung Seo, Eunbyung Park, Hyunje Park, Ha Dam Baek, Shin Sangheon, Sangmin kim, Sangpil Kim,
• Abstract要約: MFG(Multi-view Fusion Guidance)とAGT(Attention-Guided Trimming)を統合した新しい3D編集フレームワークである textbfEditSplat を提案する。 我々のMFGは,テキスト・ツー・イメージ拡散モデルと3DGSの幾何学的特性からのフリーガイダンスを利用して,本質的な多視点情報を拡散過程に組み込むことにより,多視点整合性を確保する。 我々のAGTは、3DGSの明示的な表現を活用し、3Dガウスを選択的にプルークし、最適化し、最適化効率を向上し、正確でセマンティックにリッチなローカル編集を可能にする。
• 参考スコア（独自算出の注目度）: 3.9006270555948133
• License:
• Abstract: Recent advancements in 3D editing have highlighted the potential of text-driven methods in real-time, user-friendly AR/VR applications. However, current methods rely on 2D diffusion models without adequately considering multi-view information, resulting in multi-view inconsistency. While 3D Gaussian Splatting (3DGS) significantly improves rendering quality and speed, its 3D editing process encounters difficulties with inefficient optimization, as pre-trained Gaussians retain excessive source information, hindering optimization. To address these limitations, we propose \textbf{EditSplat}, a novel 3D editing framework that integrates Multi-view Fusion Guidance (MFG) and Attention-Guided Trimming (AGT). Our MFG ensures multi-view consistency by incorporating essential multi-view information into the diffusion process, leveraging classifier-free guidance from the text-to-image diffusion model and the geometric properties of 3DGS. Additionally, our AGT leverages the explicit representation of 3DGS to selectively prune and optimize 3D Gaussians, enhancing optimization efficiency and enabling precise, semantically rich local edits. Through extensive qualitative and quantitative evaluations, EditSplat achieves superior multi-view consistency and editing quality over existing methods, significantly enhancing overall efficiency.
• Abstract（参考訳）: 3D編集の最近の進歩は、リアルタイムでユーザフレンドリーなAR/VRアプリケーションにおけるテキスト駆動方式の可能性を強調している。 しかし、現在の手法は、マルチビュー情報を適切に考慮せずに2次元拡散モデルに依存しており、結果としてマルチビューの不整合が生じる。 3D Gaussian Splatting (3DGS)はレンダリング品質とスピードを大幅に改善するが、3D編集プロセスは非効率な最適化に直面する。 そこで我々は,MFG (Multi-view Fusion Guidance) とAGT (Attention-Guided Trimming) を統合した新しい3D編集フレームワークである \textbf{EditSplat} を提案する。 我々のMFGは,テキスト・ツー・イメージ拡散モデルと3DGSの幾何学的特性から分類器のないガイダンスを活用することにより,本質的な多視点情報を拡散過程に組み込むことにより,多視点整合性を確保する。 さらに、3DGSの明示的な表現を活用して、3Dガウスを選択的にプーンし、最適化し、最適化効率を向上し、正確でセマンティックにリッチな局所的な編集を可能にする。 EditSplatは、定性的かつ定量的な評価を通じて、既存の方法よりも優れたマルチビュー一貫性と編集品質を実現し、全体的な効率を大幅に向上させる。

関連論文リスト

• 3DEnhancer: Consistent Multi-View Diffusion for 3D Enhancement [66.8116563135326]
  本稿では,多視点遅延拡散モデルを用いて,多視点一貫性を維持しながら粗い3次元入力を強化する3DEnhancerを提案する。 既存のビデオベースアプローチとは異なり、我々のモデルは多様な視角のコヒーレンスを改善したシームレスなマルチビュー拡張をサポートする。
  論文  参考訳（メタデータ） (2024-12-24T17:36:34Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• MVGS: Multi-view-regulated Gaussian Splatting for Novel View Synthesis [22.80370814838661]
  ボリュームレンダリングにおける最近の研究、例えばNeRFや3D Gaussian Splatting (3DGS)は、レンダリング品質と効率を大幅に向上させた。 4つの重要な貢献を具現化した新しい3DGS最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T23:48:31Z)
• 3D Gaussian Editing with A Single Image [19.662680524312027]
  本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。 提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。 実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-14T13:17:42Z)
• TrAME: Trajectory-Anchored Multi-View Editing for Text-Guided 3D Gaussian Splatting Manipulation [35.951718189386845]
  TAS(Trajectory-Anchored Scheme)による複数ビューの整合性を保証するプログレッシブな3D編集戦略を提案する。 TASは2Dビュー編集と3D更新の間に密結合された反復プロセスを促進し、テキスト・ツー・イメージ・プロセスから得られるエラーの蓄積を防ぐ。 本稿では,2次元ビューの編集中に,ソースブランチからのクロスビューセマンティクスと幾何参照を利用して,対象ブランチからアライメントされたビューを出力する,調整不要なビュー一貫性注意制御(VCAC)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:06:58Z)
• DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
  オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
  論文  参考訳（メタデータ） (2024-04-29T17:59:30Z)
• View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
  View-Consistent Editing (VcEdit)は、3DGSをシームレスに画像編集プロセスに組み込む新しいフレームワークである。 一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
  論文  参考訳（メタデータ） (2024-03-18T15:22:09Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)
• Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview Correspondence-Enhanced Diffusion Models [83.97844535389073]
  3Dコンテンツ編集の普及を妨げている大きな障害は、その時間集約的な処理である。 共振器の正規化を拡散モデルに組み込むことで,3次元編集のプロセスを大幅に高速化できることを示す。 多くのシナリオにおいて,提案手法はベースライン法と比較して10$times$の高速化を実現し,2分で3Dシーンの編集を完了させる。
  論文  参考訳（メタデータ） (2023-12-13T23:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。