論文の概要: Localized Gaussian Splatting Editing with Contextual Awareness

• arxiv url: http://arxiv.org/abs/2408.00083v1
• Date: Wed, 31 Jul 2024 18:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 00:27:00.020495
• Title: Localized Gaussian Splatting Editing with Contextual Awareness
• Title（参考訳）: 文脈認識による局所ガウススティング編集
• Authors: Hanyuan Xiao, Yingshu Chen, Huajian Huang, Haolin Xiong, Jing Yang, Pratusha Prasad, Yajie Zhao,
• Abstract要約: 本稿では,3Dガウススプラッティング(3DGS)表現のための照明対応3Dシーン編集パイプラインを提案する。 最先端条件付き2次元拡散モデルによる塗装は、照明の背景と一致している。 提案手法は,光輸送を明示的にモデル化することなく,局所的な照明の整合性を効果的に実現している。
• 参考スコア（独自算出の注目度）: 10.46087834880747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent text-guided generation of individual 3D object has achieved great success using diffusion priors. However, these methods are not suitable for object insertion and replacement tasks as they do not consider the background, leading to illumination mismatches within the environment. To bridge the gap, we introduce an illumination-aware 3D scene editing pipeline for 3D Gaussian Splatting (3DGS) representation. Our key observation is that inpainting by the state-of-the-art conditional 2D diffusion model is consistent with background in lighting. To leverage the prior knowledge from the well-trained diffusion models for 3D object generation, our approach employs a coarse-to-fine objection optimization pipeline with inpainted views. In the first coarse step, we achieve image-to-3D lifting given an ideal inpainted view. The process employs 3D-aware diffusion prior from a view-conditioned diffusion model, which preserves illumination present in the conditioning image. To acquire an ideal inpainted image, we introduce an Anchor View Proposal (AVP) algorithm to find a single view that best represents the scene illumination in target region. In the second Texture Enhancement step, we introduce a novel Depth-guided Inpainting Score Distillation Sampling (DI-SDS), which enhances geometry and texture details with the inpainting diffusion prior, beyond the scope of the 3D-aware diffusion prior knowledge in the first coarse step. DI-SDS not only provides fine-grained texture enhancement, but also urges optimization to respect scene lighting. Our approach efficiently achieves local editing with global illumination consistency without explicitly modeling light transport. We demonstrate robustness of our method by evaluating editing in real scenes containing explicit highlight and shadows, and compare against the state-of-the-art text-to-3D editing methods.
• Abstract（参考訳）: 近年のテキスト誘導による個人3Dオブジェクトの生成は,拡散先行法を用いて大きな成功を収めている。 しかし、これらの手法は背景を考慮しないため、オブジェクト挿入や置換作業には適さないため、環境内の照明ミスマッチにつながる。 このギャップを埋めるために,3次元ガウススプラッティング(3DGS)表現のための照明対応3Dシーン編集パイプラインを導入する。 我々のキーとなる観察は、最先端条件2次元拡散モデルによる塗装が光の背景と一致していることである。 3次元オブジェクト生成のためのよく訓練された拡散モデルからの事前知識を活用するため,本手法では,粗大から細いオブジェクトの最適化パイプラインをインペイントしたビューで導入する。 最初の粗いステップでは、理想的インペイントされたビューが与えられた画像から3Dへのリフトを実現する。 このプロセスは、条件付き画像に存在する照明を保存するビュー条件付き拡散モデルに先立って、3D対応拡散を用いる。 理想のインペイント画像を得るために,対象領域のシーン照明を最もよく表現する単一のビューを見つけるために,アンカービュープロポーザル (AVP) アルゴリズムを導入する。 第2のテクスチャ強化ステップでは、第1の粗いステップにおける3D-認識拡散前の知識の範囲を超えて、塗装拡散による幾何学的・テクスチャ的詳細性を高める新しいDepth-guided Inpainting Score Distillation Smpling (DI-SDS)を導入する。 DI-SDSはきめ細かいテクスチャの強化を提供するだけでなく、シーンライティングを尊重するよう最適化を促す。 提案手法は,光輸送を明示的にモデル化することなく,局所的な照明の整合性を効果的に実現している。 本手法のロバスト性は,鮮明なハイライトと影を含む実シーンでの編集を評価することで実証し,最先端のテキスト・ツー・3D編集手法と比較した。

関連論文リスト

• Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors [24.478875248825563]
  単一画像の3次元操作を可能にする新しい画像編集手法を提案する。 本手法は,テキスト・イメージ・ペアの広い範囲で訓練された強力な画像拡散モデルを直接活用する。 提案手法では,高画質な3D画像編集が可能で,視点変換が大きく,外観や形状の整合性も高い。
  論文  参考訳（メタデータ） (2024-03-18T06:18:59Z)
• X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap Between Text-to-2D and Text-to-3D Generation [61.48050470095969]
  X-Dreamerは高品質なテキストから3Dコンテンツを作成するための新しいアプローチである。 テキスト対2D合成とテキスト対3D合成のギャップを埋める。
  論文  参考訳（メタデータ） (2023-11-30T07:23:00Z)
• Directional Texture Editing for 3D Models [51.31499400557996]
  ITEM3D は textbf3D オブジェクトの自動編集のために設計されている。 拡散モデルと微分可能レンダリングを活用して、ITEM3Dはレンダリングされた画像をテキストと3D表現のブリッジとして取り込む。
  論文  参考訳（メタデータ） (2023-09-26T12:01:13Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior [36.40582157854088]
  本研究では,1枚の画像のみから高忠実度3Dコンテンツを作成する問題について検討する。 我々は、よく訓練された2D拡散モデルからの事前知識を活用し、3D生成のための3D認識監視として機能する。 本手法は,汎用オブジェクトの単一画像から高品質な3D作成を実現するための最初の試みであり,テキスト・ツー・3D作成やテクスチャ編集などの様々な応用を可能にする。
  論文  参考訳（メタデータ） (2023-03-24T17:54:22Z)
• Vox-E: Text-guided Voxel Editing of 3D Objects [14.88446525549421]
  大規模テキスト誘導拡散モデルが注目されているのは、多様な画像を合成できるためである。 本稿では,既存の3次元オブジェクトの編集に潜時拡散モデルのパワーを利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T17:36:36Z)
• RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation [68.06991943974195]
  単分子2次元観察のみを用いて学習した3次元生成と推論のための最初の拡散モデルであるRenderDiffusionを提案する。 FFHQ,AFHQ,ShapeNet,CLEVRのデータセット上でRenderDiffusionを評価し,3Dシーンの生成と2D画像からの3Dシーンの推測の競合性能を示した。
  論文  参考訳（メタデータ） (2022-11-17T20:17:04Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。