論文の概要: D3DR: Lighting-Aware Object Insertion in Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2503.06740v1
• Date: Sun, 09 Mar 2025 19:48:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:48:32.443212
• Title: D3DR: Lighting-Aware Object Insertion in Gaussian Splatting
• Title（参考訳）: D3DR:ガウススティングにおける照明対応物体挿入
• Authors: Vsevolod Skorokhodov, Nikita Durasov, Pascal Fua,
• Abstract要約: D3DRと呼ばれる3DGS並列化オブジェクトを3DGSシーンに挿入する手法を提案する。 我々は、現実世界のデータに基づいて訓練された拡散モデルの進歩を活用し、正しいシーンライティングを暗黙的に理解する。 提案手法を既存手法と比較することにより,提案手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 48.80431740983095
• License:
• Abstract: Gaussian Splatting has become a popular technique for various 3D Computer Vision tasks, including novel view synthesis, scene reconstruction, and dynamic scene rendering. However, the challenge of natural-looking object insertion, where the object's appearance seamlessly matches the scene, remains unsolved. In this work, we propose a method, dubbed D3DR, for inserting a 3DGS-parametrized object into 3DGS scenes while correcting its lighting, shadows, and other visual artifacts to ensure consistency, a problem that has not been successfully addressed before. We leverage advances in diffusion models, which, trained on real-world data, implicitly understand correct scene lighting. After inserting the object, we optimize a diffusion-based Delta Denoising Score (DDS)-inspired objective to adjust its 3D Gaussian parameters for proper lighting correction. Utilizing diffusion model personalization techniques to improve optimization quality, our approach ensures seamless object insertion and natural appearance. Finally, we demonstrate the method's effectiveness by comparing it to existing approaches, achieving 0.5 PSNR and 0.15 SSIM improvements in relighting quality.
• Abstract（参考訳）: ガウススプラッティングは、新しいビュー合成、シーン再構成、ダイナミックなシーンレンダリングなど、様々な3Dコンピュータビジョンタスクで一般的な技術となっている。 しかし、自然に見える物体の挿入という課題は、物体の外観がシーンとシームレスに一致し、未解決のままである。 そこで本研究では,D3DRと呼ばれる3DGS並列化オブジェクトを3DGSシーンに挿入し,照明,影,その他の視覚的アーティファクトを補正して,一貫性を確保する手法を提案する。 我々は、現実世界のデータに基づいて訓練された拡散モデルの進歩を活用し、正しいシーンライティングを暗黙的に理解する。 オブジェクトを挿入した後、拡散に基づくデルタデノイングスコア(DDS)にインスパイアされた目的を最適化し、3Dガウスパラメータを適切な照明補正のために調整する。 拡散モデルパーソナライズ技術を用いて最適化品質を向上し, シームレスなオブジェクト挿入と自然な外観を保証する。 最後に,既存の手法と比較し,0.5 PSNRと0.15 SSIMの改善を実現した。

関連論文リスト

• GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
  GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。 筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。 Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
  論文  参考訳（メタデータ） (2024-10-03T15:58:18Z)
• 3D Gaussian Editing with A Single Image [19.662680524312027]
  本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。 提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。 実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-14T13:17:42Z)
• Localized Gaussian Splatting Editing with Contextual Awareness [10.46087834880747]
  本稿では,3Dガウススプラッティング(3DGS)表現のための照明対応3Dシーン編集パイプラインを提案する。 最先端条件付き2次元拡散モデルによる塗装は、照明の背景と一致している。 提案手法は,光輸送を明示的にモデル化することなく,局所的な照明の整合性を効果的に実現している。
  論文  参考訳（メタデータ） (2024-07-31T18:00:45Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)
• Differentiable Rendering with Perturbed Optimizers [85.66675707599782]
  2Dイメージプロジェクションから3Dシーンを推論することは、コンピュータビジョンにおける中核的な問題の一つだ。 我々の研究は、よく知られた微分可能な定式化とランダムなスムーズなレンダリングの関連性を強調している。 提案手法を3次元シーン再構成に適用し,その利点を6次元ポーズ推定と3次元メッシュ再構成の課題に適用した。
  論文  参考訳（メタデータ） (2021-10-18T08:56:23Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• LUCES: A Dataset for Near-Field Point Light Source Photometric Stereo [30.31403197697561]
  LUCESは, 様々な素材の14個のオブジェクトからなる, 近距離Ld点光のための最初の実世界のデータセットである。 52個のLEDを計る装置は、カメラから10から30cm離れた位置にある各物体に点灯するように設計されている。 提案するデータセットにおける最新の近接場測光ステレオアルゴリズムの性能評価を行った。
  論文  参考訳（メタデータ） (2021-04-27T12:30:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。