論文の概要: DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing

• arxiv url: http://arxiv.org/abs/2404.18929v1
• Date: Mon, 29 Apr 2024 17:59:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 12:39:07.396842
• Title: DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing
• Title（参考訳）: DGE: 一貫性のあるマルチビュー編集による直接ガウス3D編集
• Authors: Minghao Chen, Iro Laina, Andrea Vedaldi,
• Abstract要約: オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題を解決するための確立されたパラダイムは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 これは、神経放射場のような計算コストのかかる3D表現を更新する必要があるため、しばしば遅くなる。 そこで我々は,これらの問題に2つの方法で対処する手法であるDirect Gaussian Editor (DGE)を導入する。
• 参考スコア（独自算出の注目度）: 72.54566271694654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of editing 3D objects and scenes based on open-ended language instructions. The established paradigm to solve this problem is to use a 2D image generator or editor to guide the 3D editing process. However, this is often slow as it requires do update a computationally expensive 3D representations such as a neural radiance field, and to do so by using contradictory guidance from a 2D model which is inherently not multi-view consistent. We thus introduce the Direct Gaussian Editor (DGE), a method that addresses these issues in two ways. First, we modify a given high-quality image editor like InstructPix2Pix to be multi-view consistent. We do so by utilizing a training-free approach which integrates cues from the underlying 3D geometry of the scene. Second, given a multi-view consistent edited sequence of images of the object, we directly and efficiently optimize the 3D object representation, which is based on 3D Gaussian Splatting. Because it does not require to apply edits incrementally and iteratively, DGE is significantly more efficient than existing approaches, and comes with other perks such as allowing selective editing of parts of the scene.
• Abstract（参考訳）: オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題を解決するための確立されたパラダイムは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 しかし、これは神経放射場のような計算コストのかかる3D表現を更新する必要があるため、本質的にマルチビュー一貫性のない2Dモデルからの矛盾したガイダンスを使用することで、しばしば遅くなる。 そこで我々は,これらの問題に2つの方法で対処する手法であるDirect Gaussian Editor (DGE)を導入する。 まず、InstructPix2Pixのような高品質の画像エディタをマルチビュー一貫性に修正する。 我々は、シーンの3次元幾何学からヒントを取り入れた、トレーニング不要なアプローチを活用する。 第二に、オブジェクトの画像を複数ビューで一貫した編集シーケンスにすると、3Dガウススプラッティングに基づく3Dオブジェクト表現を直接的かつ効率的に最適化する。 編集をインクリメンタルかつ反復的に行う必要はないため、DGEは既存のアプローチよりもはるかに効率的であり、シーンの一部の選択的編集が可能である。

関連論文リスト

• 3DEgo: 3D Editing on the Go! [6.072473323242202]
  本稿では,テキストプロンプトで案内されたモノクロ映像から3Dシーンを直接合成する新しい問題に対処する3DEgoを紹介する。 本フレームワークは,従来のマルチステージ3D編集プロセスを一段階のワークフローに合理化する。 3DEgoは、様々なビデオソースの編集精度、速度、適応性を示す。
  論文  参考訳（メタデータ） (2024-07-14T07:03:50Z)
• TIGER: Text-Instructed 3D Gaussian Retrieval and Coherent Editing [12.50147114409895]
  本稿では,テキストによる3Dガウス検索と編集のための体系的アプローチ,すなわちTIGERを提案する。 本稿では,2次元画像編集拡散モデルと多視点拡散モデルを集約したコヒーレントスコア蒸留(CSD)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T11:37:17Z)
• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
  画像編集プロセスに3DGSをシームレスに組み込むフレームワークであるView-Consistent Editing (VcEdit)を導入する。 一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
  論文  参考訳（メタデータ） (2024-03-18T15:22:09Z)
• GaussCtrl: Multi-View Consistent Text-Driven 3D Gaussian Splatting Editing [38.948892064761914]
  GaussCtrlは、3D Gaussian Splatting(3DGS)によって再構成された3Dシーンを編集するテキスト駆動方式である。 私たちの重要な貢献は、複数ビューの一貫性のある編集であり、1つの画像を反復的に編集する代わりに、すべての画像を一緒に編集できる。
  論文  参考訳（メタデータ） (2024-03-13T17:35:28Z)
• Efficient-NeRF2NeRF: Streamlining Text-Driven 3D Editing with Multiview Correspondence-Enhanced Diffusion Models [83.97844535389073]
  3Dコンテンツ編集の普及を妨げている大きな障害は、その時間集約的な処理である。 共振器の正規化を拡散モデルに組み込むことで,3次元編集のプロセスを大幅に高速化できることを示す。 多くのシナリオにおいて,提案手法はベースライン法と比較して10$times$の高速化を実現し,2分で3Dシーンの編集を完了させる。
  論文  参考訳（メタデータ） (2023-12-13T23:27:17Z)
• Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
  カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。 歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。 私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
  論文  参考訳（メタデータ） (2023-12-11T18:59:31Z)
• GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting [66.08674785436612]
  3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
  論文  参考訳（メタデータ） (2023-11-24T14:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。