論文の概要: 3D Gaussian Editing with A Single Image

• arxiv url: http://arxiv.org/abs/2408.07540v1
• Date: Wed, 14 Aug 2024 13:17:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 13:14:29.190534
• Title: 3D Gaussian Editing with A Single Image
• Title（参考訳）: 単一画像による3次元ガウス編集
• Authors: Guan Luo, Tian-Xing Xu, Ying-Tian Liu, Xiao-Xiong Fan, Fang-Lue Zhang, Song-Hai Zhang,
• Abstract要約: 本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。 提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。 実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 19.662680524312027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.
• Abstract（参考訳）: 実世界から捉えた3Dシーンのモデリングと操作は、様々な応用において重要なものであり、研究の関心が高まりつつある。 編集に関するこれまでの研究は、3Dメッシュを操作することで興味深い成果を上げてきたが、編集を行うには正確に再構成されたメッシュを必要とすることが多く、それによって3Dコンテンツ生成が制限される。 このギャップに対処するために,我々は,2次元画像平面上でコンテンツを直接編集することで,直感的な操作を可能にする3次元ガウシアンスプラッティングに基づく,新しい単一イメージ駆動の3次元シーン編集手法を提案する。 本手法では,3次元ガウシアンを最適化し,ユーザが指定したオリジナルシーンの視点からレンダリングした画像の編集版と整合する。 長距離物体の変形を捉えるため、3次元ガウス散乱の最適化プロセスに位置損失を導入し、再パラメータ化による勾配伝播を可能にする。 特定の視点からレンダリングする際、隠蔽された3次元ガウスを取り扱うために、アンカーベース構造を構築し、構造安定性を維持しながら長距離変形を処理できる粗大な最適化戦略を用いる。 さらに,大規模モデリングのための非剛性変形領域を適応的に同定する新しいマスキング手法を設計する。 拡張実験により, 幾何的細部, 長距離および非剛性変形の処理における本手法の有効性が示され, 従来の手法と比較して編集の柔軟性と品質が向上した。

関連論文リスト

• DragGaussian: Enabling Drag-style Manipulation on 3D Gaussian Representation [57.406031264184584]
  DragGaussianは、3D Gaussian Splattingをベースにした3Dオブジェクトのドラッグ編集フレームワークである。 我々の貢献は、新しいタスクの導入、インタラクティブなポイントベース3D編集のためのDragGaussianの開発、質的かつ定量的な実験によるその効果の包括的検証などである。
  論文  参考訳（メタデータ） (2024-05-09T14:34:05Z)
• DGE: Direct Gaussian 3D Editing by Consistent Multi-view Editing [72.54566271694654]
  オープンな言語命令に基づいて3Dオブジェクトやシーンを編集する際の問題点を考察する。 この問題に対する一般的なアプローチは、3D編集プロセスをガイドするために2Dイメージジェネレータまたはエディタを使用することである。 このプロセスは、コストのかかる3D表現の反復的な更新を必要とするため、しばしば非効率である。
  論文  参考訳（メタデータ） (2024-04-29T17:59:30Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors [24.478875248825563]
  単一画像の3次元操作を可能にする新しい画像編集手法を提案する。 本手法は,テキスト・イメージ・ペアの広い範囲で訓練された強力な画像拡散モデルを直接活用する。 提案手法では,高画質な3D画像編集が可能で,視点変換が大きく,外観や形状の整合性も高い。
  論文  参考訳（メタデータ） (2024-03-18T06:18:59Z)
• GaussCtrl: Multi-View Consistent Text-Driven 3D Gaussian Splatting Editing [38.948892064761914]
  GaussCtrlは、3D Gaussian Splatting(3DGS)によって再構成された3Dシーンを編集するテキスト駆動方式である。 私たちの重要な貢献は、複数ビューの一貫性のある編集であり、1つの画像を反復的に編集する代わりに、すべての画像を一緒に編集できる。
  論文  参考訳（メタデータ） (2024-03-13T17:35:28Z)
• GSEdit: Efficient Text-Guided Editing of 3D Objects via Gaussian Splatting [10.527349772993796]
  本稿では,Gaussian Splattingモデルに基づくテキスト誘導型3Dオブジェクト編集パイプラインであるGSEditを紹介する。 本手法では, 3Dオブジェクトの形状や外観の編集を, 消費者ハードウェア上で数分で行うことなく行うことができる。
  論文  参考訳（メタデータ） (2024-03-08T08:42:23Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• Learning Naturally Aggregated Appearance for Efficient 3D Editing [94.47518916521065]
  カラーフィールドを2次元の鮮明なアグリゲーションに置き換えることを提案する。 歪み効果を回避し、簡便な編集を容易にするため、3Dの点をテクスチャルックアップのために2Dピクセルにマッピングする投影場を標準画像に補完する。 私たちの表現はAGAPと呼ばれ、再最適化を必要とせず、様々な3D編集方法(スタイル化、インタラクティブな描画、コンテンツ抽出など)をうまくサポートしています。
  論文  参考訳（メタデータ） (2023-12-11T18:59:31Z)
• GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting [66.08674785436612]
  3D編集は、ゲームや仮想現実など、多くの分野で重要な役割を担っている。 メッシュやポイントクラウドのような表現に依存した従来の3D編集手法は、複雑なシーンを現実的に描写するのに不足することが多い。 本稿では,新しい3D表現であるGaussian Splatting(GS)に基づく,革新的で効率的な3D編集アルゴリズムであるGaussianEditorを提案する。
  論文  参考訳（メタデータ） (2023-11-24T14:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。