論文の概要: SpecGaussian with Latent Features: A High-quality Modeling of the View-dependent Appearance for 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2409.05868v1
- Date: Fri, 23 Aug 2024 15:25:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-15 05:31:27.774080
- Title: SpecGaussian with Latent Features: A High-quality Modeling of the View-dependent Appearance for 3D Gaussian Splatting
- Title（参考訳）: SpecGaussian with Latent Features: A high-quality Modeling of the View-dependent appearance of the 3D Gaussian Splatting (特集 New Trends)
- Authors: Zhiru Wang, Shiyun Xie, Chengwei Pan, Guoping Wang,
- Abstract要約: Lantent-SpecGSは、各3Dガウス内の普遍的な潜在神経記述子を利用するアプローチである。
2つの並列CNNは、分割された特徴マップを拡散色と特異色に分離してデコーダとして設計されている。
視点に依存するマスクが学習され、これらの2色をマージし、最終的なレンダリング画像が生成される。
- 参考スコア（独自算出の注目度）: 11.978842116007563
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the 3D Gaussian Splatting (3D-GS) method has achieved great success in novel view synthesis, providing real-time rendering while ensuring high-quality rendering results. However, this method faces challenges in modeling specular reflections and handling anisotropic appearance components, especially in dealing with view-dependent color under complex lighting conditions. Additionally, 3D-GS uses spherical harmonic to learn the color representation, which has limited ability to represent complex scenes. To overcome these challenges, we introduce Lantent-SpecGS, an approach that utilizes a universal latent neural descriptor within each 3D Gaussian. This enables a more effective representation of 3D feature fields, including appearance and geometry. Moreover, two parallel CNNs are designed to decoder the splatting feature maps into diffuse color and specular color separately. A mask that depends on the viewpoint is learned to merge these two colors, resulting in the final rendered image. Experimental results demonstrate that our method obtains competitive performance in novel view synthesis and extends the ability of 3D-GS to handle intricate scenarios with specular reflections.
- Abstract（参考訳）: 近年, 3D Gaussian Splatting (3D-GS) 法は, 高品質なレンダリング性能を確保しつつ, リアルタイムレンダリングを実現し, 新規なビュー合成において大きな成功を収めている。
しかし、この手法は、鏡面反射のモデル化や異方性外見成分の扱い、特に複雑な照明条件下での視野依存色を扱う際の課題に直面している。
さらに、3D-GSは球面調和を使って色表現を学習し、複雑なシーンを表現する能力に制限がある。
これらの課題を克服するために、各3次元ガウス内において普遍的な潜在神経記述子を利用するアプローチであるLantent-SpecGSを導入する。
これにより、外観や幾何学など、より効果的な3D特徴場の表現が可能になる。
さらに、2つの並列CNNは、特徴写像を拡散色と特異色に分離してデコーダするように設計されている。
視点に依存するマスクが学習され、これらの2色をマージし、最終的なレンダリング画像が生成される。
実験結果から,本手法は新規な視点合成における競争性能を向上し,複雑なシナリオを鏡面反射で処理する3D-GSの能力を拡張できることが示唆された。
関連論文リスト
- GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - RefGaussian: Disentangling Reflections from 3D Gaussian Splatting for Realistic Rendering [18.427759763663047]
本稿では3D-GSからの反射を現実的にモデル化するRefGaussianを提案する。
伝送成分と反射成分の両方に対して局所的な滑らかさを確保するために局所正規化手法を用いる。
提案手法は,より優れた新規な視点合成と高精度な深度推定結果を実現する。
論文 参考訳（メタデータ） (2024-06-09T16:49:39Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。
ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-05-28T08:40:14Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。