論文の概要: RefGaussian: Disentangling Reflections from 3D Gaussian Splatting for Realistic Rendering
- arxiv url: http://arxiv.org/abs/2406.05852v1
- Date: Sun, 9 Jun 2024 16:49:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 17:47:48.397525
- Title: RefGaussian: Disentangling Reflections from 3D Gaussian Splatting for Realistic Rendering
- Title（参考訳）: RefGaussian:リアルレンダリングのための3次元ガウススティングからの反射を遠ざける
- Authors: Rui Zhang, Tianyue Luo, Weidong Yang, Ben Fei, Jingyi Xu, Qingyuan Zhou, Keyi Liu, Ying He,
- Abstract要約: 本稿では3D-GSからの反射を現実的にモデル化するRefGaussianを提案する。
伝送成分と反射成分の両方に対して局所的な滑らかさを確保するために局所正規化手法を用いる。
提案手法は,より優れた新規な視点合成と高精度な深度推定結果を実現する。
- 参考スコア（独自算出の注目度）: 18.427759763663047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian Splatting (3D-GS) has made a notable advancement in the field of neural rendering, 3D scene reconstruction, and novel view synthesis. Nevertheless, 3D-GS encounters the main challenge when it comes to accurately representing physical reflections, especially in the case of total reflection and semi-reflection that are commonly found in real-world scenes. This limitation causes reflections to be mistakenly treated as independent elements with physical presence, leading to imprecise reconstructions. Herein, to tackle this challenge, we propose RefGaussian to disentangle reflections from 3D-GS for realistically modeling reflections. Specifically, we propose to split a scene into transmitted and reflected components and represent these components using two Spherical Harmonics (SH). Given that this decomposition is not fully determined, we employ local regularization techniques to ensure local smoothness for both the transmitted and reflected components, thereby achieving more plausible decomposition outcomes than 3D-GS. Experimental results demonstrate that our approach achieves superior novel view synthesis and accurate depth estimation outcomes. Furthermore, it enables the utilization of scene editing applications, ensuring both high-quality results and physical coherence.
- Abstract（参考訳）: 3D Gaussian Splatting (3D-GS)は、ニューラルレンダリング、3Dシーン再構成、新しいビュー合成の分野において顕著な進歩を遂げた。
それでも、3D-GSは、物理反射を正確に表現する上で、特に現実世界のシーンでよく見られる反射や半反射の場合、大きな課題に直面している。
この制限により、反射は物理的存在を持つ独立した要素として誤って扱われ、不正確な再構成をもたらす。
本稿では、3D-GSからの反射を現実的にモデル化するためにRefGaussianを提案する。
具体的には、シーンを伝送および反射するコンポーネントに分割し、2つの球高調波(SH)を用いてこれらのコンポーネントを表現することを提案する。
この分解が完全には決定されないことを前提として,伝送成分と反射成分の局所的滑らか性を確保するため,局所正規化技術を用いて3D-GSよりも高い分解結果を得る。
実験により,本手法はより優れた新規視点合成と精度の高い深度推定結果が得られることが示された。
さらに、シーン編集アプリケーションの利用を可能にし、高品質な結果と物理コヒーレンスの両方を保証する。
関連論文リスト
- GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - SpecGaussian with Latent Features: A High-quality Modeling of the View-dependent Appearance for 3D Gaussian Splatting [11.978842116007563]
Lantent-SpecGSは、各3Dガウス内の普遍的な潜在神経記述子を利用するアプローチである。
2つの並列CNNは、分割された特徴マップを拡散色と特異色に分離してデコーダとして設計されている。
視点に依存するマスクが学習され、これらの2色をマージし、最終的なレンダリング画像が生成される。
論文 参考訳（メタデータ） (2024-08-23T15:25:08Z) - Visual SLAM with 3D Gaussian Primitives and Depth Priors Enabling Novel View Synthesis [11.236094544193605]
従来の幾何学に基づくSLAMシステムは、密度の高い3D再構成機能を持たない。
本稿では,新しいビュー合成技術である3次元ガウススプラッティングを組み込んだリアルタイムRGB-D SLAMシステムを提案する。
論文 参考訳（メタデータ） (2024-08-10T21:23:08Z) - NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。
偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。
我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
論文 参考訳（メタデータ） (2024-06-11T09:53:18Z) - UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections [92.38975002642455]
大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
論文 参考訳（メタデータ） (2023-12-20T18:59:42Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳（メタデータ） (2022-06-18T16:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。