論文の概要: ComGS: Efficient 3D Object-Scene Composition via Surface Octahedral Probes
- arxiv url: http://arxiv.org/abs/2510.07729v1
- Date: Thu, 09 Oct 2025 03:10:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:14.832927
- Title: ComGS: Efficient 3D Object-Scene Composition via Surface Octahedral Probes
- Title(参考訳): ComGS:表面オクタヘドラルプローブによる効率的な3次元オブジェクトシーン合成
- Authors: Jian Gao, Mengqi Yuan, Yifei Zeng, Chang Zeng, Zhihao Li, Zhenyu Chen, Weichao Qiu, Xiao-Xiao Long, Hao Zhu, Xun Cao, Yao Yao,
- Abstract要約: Gaussian Splatting (GS)は没入型レンダリングを可能にするが、現実的な3Dオブジェクトシーンの合成は難しいままである。
我々は,新しい3Dオブジェクトシーン合成フレームワークであるComGSを提案する。
提案手法は,28FPS程度の高画質リアルタイムレンダリングを実現し,鮮明な影で視覚的に調和し,編集に36秒しか必要としない。
- 参考スコア(独自算出の注目度): 46.83857963152283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gaussian Splatting (GS) enables immersive rendering, but realistic 3D object-scene composition remains challenging. Baked appearance and shadow information in GS radiance fields cause inconsistencies when combining objects and scenes. Addressing this requires relightable object reconstruction and scene lighting estimation. For relightable object reconstruction, existing Gaussian-based inverse rendering methods often rely on ray tracing, leading to low efficiency. We introduce Surface Octahedral Probes (SOPs), which store lighting and occlusion information and allow efficient 3D querying via interpolation, avoiding expensive ray tracing. SOPs provide at least a 2x speedup in reconstruction and enable real-time shadow computation in Gaussian scenes. For lighting estimation, existing Gaussian-based inverse rendering methods struggle to model intricate light transport and often fail in complex scenes, while learning-based methods predict lighting from a single image and are viewpoint-sensitive. We observe that 3D object-scene composition primarily concerns the object's appearance and nearby shadows. Thus, we simplify the challenging task of full scene lighting estimation by focusing on the environment lighting at the object's placement. Specifically, we capture a 360 degrees reconstructed radiance field of the scene at the location and fine-tune a diffusion model to complete the lighting. Building on these advances, we propose ComGS, a novel 3D object-scene composition framework. Our method achieves high-quality, real-time rendering at around 28 FPS, produces visually harmonious results with vivid shadows, and requires only 36 seconds for editing. Code and dataset are available at https://nju-3dv.github.io/projects/ComGS/.
- Abstract(参考訳): Gaussian Splatting (GS)は没入型レンダリングを可能にするが、現実的な3Dオブジェクトシーンの合成は難しいままである。
GSラディアンスフィールドの裸の外観と影情報は、オブジェクトとシーンを組み合わせる際に不整合を引き起こす。
これに対応するには、再生可能なオブジェクトの再構築とシーンの照明推定が必要である。
再生可能なオブジェクト再構成では、既存のガウスベースの逆レンダリング法は、しばしばレイトレーシングに依存し、効率が低下する。
我々は,光と隠蔽情報を格納し,補間による効率的な3次元クエリを可能にするSurface Octahedral Probes (SOPs)を導入した。
SOPは少なくとも2倍の高速化を提供し、ガウスのシーンでリアルタイムのシャドウ計算を可能にする。
照明推定では、既存のガウスベースの逆レンダリング手法は複雑な光輸送をモデル化するのに苦労し、複雑なシーンでは失敗することが多い。
3次元オブジェクト・シーンの合成は、主に物体の外観と近傍の影に関係していることが観察された。
そこで我々は,物体の位置における環境照明に着目し,全シーン照明推定の課題を単純化する。
具体的には、現場の360度再構成された放射界を撮影し、拡散モデルを微調整して照明を完成させる。
これらの進歩に基づいて,新しい3Dオブジェクトシーン合成フレームワークであるComGSを提案する。
提案手法は,28FPS程度の高画質リアルタイムレンダリングを実現し,鮮明な影で視覚的に調和し,編集に36秒しか必要としない。
コードとデータセットはhttps://nju-3dv.github.io/projects/ComGS/で公開されている。
関連論文リスト
- D3DR: Lighting-Aware Object Insertion in Gaussian Splatting [48.80431740983095]
D3DRと呼ばれる3DGS並列化オブジェクトを3DGSシーンに挿入する手法を提案する。
我々は、現実世界のデータに基づいて訓練された拡散モデルの進歩を活用し、正しいシーンライティングを暗黙的に理解する。
提案手法を既存手法と比較することにより,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2025-03-09T19:48:00Z) - GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。
筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。
Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
論文 参考訳(メタデータ) (2024-10-03T15:58:18Z) - LumiGauss: Relightable Gaussian Splatting in the Wild [15.11759492990967]
本稿では,LumiGaussについて紹介する。LumiGaussは2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。
提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。
提案手法をNeRF-OSRデータセット上で検証し,ベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-08-06T23:41:57Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-15T01:58:54Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳(メタデータ) (2023-04-06T17:51:54Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳(メタデータ) (2022-05-19T06:44:37Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-13T15:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。