論文の概要: Drag Your Gaussian: Effective Drag-Based Editing with Score Distillation for 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2501.18672v2
• Date: Fri, 07 Feb 2025 16:15:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:53:06.177953
• Title: Drag Your Gaussian: Effective Drag-Based Editing with Score Distillation for 3D Gaussian Splatting
• Title（参考訳）: Drag Your Gaussian: 3D Gaussian SplattingのためのScore Distillationによる効果的なドラッグベース編集
• Authors: Yansong Qu, Dian Chen, Xinyang Li, Xiaofan Li, Shengchuan Zhang, Liujuan Cao, Rongrong Ji,
• Abstract要約: DYGは3次元ガウススプラッティングのための効果的な3次元ドラッグベース編集法である。 3次元マスクと一対の制御点を入力して編集範囲を正確に制御できる。 DYGは暗黙三面体表現の強さを統合し、編集結果の幾何学的足場を確立する。
• 参考スコア（独自算出の注目度）: 55.14822004410817
• License:
• Abstract: Recent advancements in 3D scene editing have been propelled by the rapid development of generative models. Existing methods typically utilize generative models to perform text-guided editing on 3D representations, such as 3D Gaussian Splatting (3DGS). However, these methods are often limited to texture modifications and fail when addressing geometric changes, such as editing a character's head to turn around. Moreover, such methods lack accurate control over the spatial position of editing results, as language struggles to precisely describe the extent of edits. To overcome these limitations, we introduce DYG, an effective 3D drag-based editing method for 3D Gaussian Splatting. It enables users to conveniently specify the desired editing region and the desired dragging direction through the input of 3D masks and pairs of control points, thereby enabling precise control over the extent of editing. DYG integrates the strengths of the implicit triplane representation to establish the geometric scaffold of the editing results, effectively overcoming suboptimal editing outcomes caused by the sparsity of 3DGS in the desired editing regions. Additionally, we incorporate a drag-based Latent Diffusion Model into our method through the proposed Drag-SDS loss function, enabling flexible, multi-view consistent, and fine-grained editing. Extensive experiments demonstrate that DYG conducts effective drag-based editing guided by control point prompts, surpassing other baselines in terms of editing effect and quality, both qualitatively and quantitatively. Visit our project page at https://quyans.github.io/Drag-Your-Gaussian.
• Abstract（参考訳）: 近年の3次元シーン編集の進歩は、生成モデルの急速な発展によって促進されている。 既存の手法では3Dガウススプラッティング(3DGS)のような3D表現のテキスト誘導編集にジェネレーティブモデルを用いるのが一般的である。 しかし、これらの手法はテクスチャの修正に限られ、文字の頭を回転させるといった幾何学的な変化に対処する際に失敗することが多い。 さらに、これらの手法は、編集範囲を正確に記述するのに苦慮しているため、編集結果の空間的位置を正確に制御することができない。 これらの制約を克服するために,3次元ガウス分割のための効果的な3次元ドラッグベース編集法であるDYGを導入する。 これにより、ユーザは、3Dマスクと一対の制御ポイントを入力して、所望の編集領域と所望のドラッグ方向を便利に指定でき、編集範囲を正確に制御できる。 DYGは、暗黙の3次元平面表現の強みを統合して、編集結果の幾何学的足場を確立し、所望の編集領域における3DGSの空間性に起因する最適以下の編集結果を効果的に克服する。 さらに,ドラッグベースの遅延拡散モデル(Latent Diffusion Model)をDrag-SDS損失関数(Drag-SDS loss function)を通じて提案手法に組み込んで,フレキシブル,マルチビュー整合性,微粒な編集を可能にする。 広汎な実験により、DYGは制御点プロンプトによって誘導される効果的なドラッグベースの編集を行い、編集効果と品質の両面において、質的にも質的にも他のベースラインを超えていることが示された。 プロジェクトページはhttps://quyans.github.io/Drag-Your-Gaussian.com。

関連論文リスト

• GSEditPro: 3D Gaussian Splatting Editing with Attention-based Progressive Localization [11.170354299559998]
  本稿では,ユーザがテキストプロンプトのみを使用して,創造的で正確な編集を行うことのできる,新しい3Dシーン編集フレームワークであるGSEditProを提案する。 レンダリング中に各ガウス語に意味ラベルを追加するために、注意に基づくプログレッシブなローカライゼーションモジュールを導入する。 これにより、T2Iモデルのクロスアテンション層から派生した編集プロンプトとの関連性に基づいて、ガウスアンを分類することで、編集領域の正確なローカライズが可能になる。
  論文  参考訳（メタデータ） (2024-11-15T08:25:14Z)
• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
  オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
  論文  参考訳（メタデータ） (2024-04-29T17:59:30Z)
• View-Consistent 3D Editing with Gaussian Splatting [50.6460814430094]
  View-Consistent Editing (VcEdit)は、3DGSをシームレスに画像編集プロセスに組み込む新しいフレームワークである。 一貫性モジュールを反復パターンに組み込むことで、VcEditはマルチビューの不整合の問題を十分に解決する。
  論文  参考訳（メタデータ） (2024-03-18T15:22:09Z)
• GSEdit: Efficient Text-Guided Editing of 3D Objects via Gaussian Splatting [10.527349772993796]
  本稿では,Gaussian Splattingモデルに基づくテキスト誘導型3Dオブジェクト編集パイプラインであるGSEditを紹介する。 本手法では, 3Dオブジェクトの形状や外観の編集を, 消費者ハードウェア上で数分で行うことなく行うことができる。
  論文  参考訳（メタデータ） (2024-03-08T08:42:23Z)
• Plasticine3D: 3D Non-Rigid Editing with Text Guidance by Multi-View Embedding Optimization [21.8454418337306]
  本研究では,3次元非剛性編集が可能なテキスト誘導型3D編集パイプラインであるPlastine3Dを提案する。 本研究は,編集過程を幾何学的編集段階とテクスチャ的編集段階に分割し,構造と外観を別々に制御する。 細粒度制御のために,埋め込み空間の編集目的と原特徴を融合させるエンベディング・フュージョン (EF) を提案する。
  論文  参考訳（メタデータ） (2023-12-15T09:01:54Z)
• SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds [73.91114735118298]
  Shap-Editorは、新しいフィードフォワード3D編集フレームワークである。 フィードフォワード・エディター・ネットワークを構築することで,この空間で直接3D編集を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-14T18:59:06Z)
• GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting [66.08674785436612]
  3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
  論文  参考訳（メタデータ） (2023-11-24T14:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。