論文の概要: LightHarmony3D: Harmonizing Illumination and Shadows for Object Insertion in 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2603.29209v1
- Date: Tue, 31 Mar 2026 03:26:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:03.077782
- Title: LightHarmony3D: Harmonizing Illumination and Shadows for Object Insertion in 3D Gaussian Splatting
- Title(参考訳): LightHarmony3D:3次元ガウス鋳型における物体挿入のための照度と影の調和
- Authors: Tianyu Huang, Zhenyang Ren, Zhenchen Wan, Jiyang Zheng, Wenjie Wang, Runnan Chen, Mingming Gong, Tongliang Liu,
- Abstract要約: 光ハーモニー3D(LightHarmony3D)について述べる。
繰り返し最適化の代わりに生成前処理を活用することにより,本手法はシーン照明を効率よく捉えることができる。
3DGSでメッシュ挿入のための最初の専用ベンチマークを導入し、照明の一貫性と光リアリズムを評価するための標準化された評価フレームワークを提供する。
- 参考スコア(独自算出の注目度): 90.15229815175593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3DGS) enables high-fidelity reconstruction of scene geometry and appearance. Building on this capability, inserting external mesh objects into reconstructed 3DGS scenes enables interactive editing and content augmentation for immersive applications such as AR/VR, virtual staging, and digital content creation. However, achieving physically consistent lighting and shadows for mesh insertion remains challenging, as it requires accurate scene illumination estimation and multi-view consistent rendering. To address this challenge, we present LightHarmony3D, a novel framework for illumination-consistent mesh insertion in 3DGS scenes. Central to our approach is our proposed generative module that predicts a full 360° HDR environment map at the insertion location via a single forward pass. By leveraging generative priors instead of iterative optimization, our method efficiently captures dominant scene illumination and enables physically grounded shading and shadows for inserted meshes while maintaining multi-view coherence. Furthermore, we introduce the first dedicated benchmark for mesh insertion in 3DGS, providing a standardized evaluation framework for assessing lighting consistency and photorealism. Extensive experiments across multiple real-world reconstruction datasets demonstrate that LightHarmony3D achieves state-of-the-art realism and multi-view consistency.
- Abstract(参考訳): 3Dガウススティング(3DGS)はシーン形状と外観の高忠実な再構成を可能にする。
この機能に基づいて、再構成された3DGSシーンに外部メッシュオブジェクトを挿入することで、AR/VR、仮想ステージング、デジタルコンテンツ生成などの没入型アプリケーションのためのインタラクティブな編集とコンテンツ拡張が可能になる。
しかし、正確なシーン照明推定とマルチビュー一貫したレンダリングを必要とするため、メッシュ挿入のための物理的に一貫した照明と影を実現することは依然として困難である。
この課題に対処するため、3DGSシーンにおける照明に一貫性のあるメッシュ挿入のための新しいフレームワークであるLightHarmony3Dを紹介した。
提案する生成モジュールは,入射位置における全360度HDR環境マップを1回の前方通過で予測する。
提案手法は,反復最適化の代わりに生成前処理を活用することにより,シーン照明を効率よく捕捉し,マルチビューコヒーレンスを維持しつつ,挿入メッシュに対する物理的に接地したシェーディングとシャドーを可能にする。
さらに、3DGSでメッシュ挿入のための最初の専用ベンチマークを導入し、照明の一貫性と光リアリズムを評価するための標準化された評価フレームワークを提供する。
複数の実世界の再構築データセットにわたる大規模な実験は、LightHarmony3Dが最先端のリアリズムとマルチビューの一貫性を達成することを実証している。
関連論文リスト
- SplatBright: Generalizable Low-Light Scene Reconstruction from Sparse Views via Physically-Guided Gaussian Enhancement [26.905118897488077]
SplatBrightは、スパースsRGB入力からのジョイントローライト拡張と再構成のための最初の一般化可能な3Dガウスフレームワークである。
我々のキーとなる考え方は、物理的に誘導された照明モデリングと幾何学的外観の疎結合を統合して、一貫した低照度再構成を行うことである。
SplatBright は2D と 3D の両方の手法と比較して、目立たない低照度シーンに優れた新規ビュー合成、クロスビュー一貫性、そしてより良い一般化を実現している。
論文 参考訳(メタデータ) (2025-12-21T09:06:16Z) - Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis [49.67420486373202]
GRGSは、多彩な照明条件下での高忠実なヒューマン・ノベル・ビュー・シンセサイザーのための一般的な3Dガウスのフレームワークである。
我々は, 精密深度および表面の正常度を予測するために, 合成依存データに基づいて学習した照明対応幾何微細化(LGR)モジュールを提案する。
論文 参考訳(メタデータ) (2025-05-27T17:59:47Z) - MV-CoLight: Efficient Object Compositing with Consistent Lighting and Shadow Generation [19.46962637673285]
MV-CoLightは2Dおよび3Dシーンで合成される照度一貫性のあるオブジェクトのためのフレームワークである。
2次元画像入力と3次元ガウスシーン表現をシームレスに整列するために、ヒルベルト曲線に基づく写像を用いる。
実験では、標準ベンチマークとデータセット間で、最先端の調和した結果を実証した。
論文 参考訳(メタデータ) (2025-05-27T17:53:02Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳(メタデータ) (2024-06-04T15:17:37Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。