論文の概要: GaussianShader: 3D Gaussian Splatting with Shading Functions for
Reflective Surfaces
- arxiv url: http://arxiv.org/abs/2311.17977v1
- Date: Wed, 29 Nov 2023 17:22:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 19:12:17.306030
- Title: GaussianShader: 3D Gaussian Splatting with Shading Functions for
Reflective Surfaces
- Title(参考訳): Gaussian Shader:反射面のシェーディング機能を有する3次元ガウス散乱
- Authors: Yingwenqi Jiang, Jiadong Tu, Yuan Liu, Xifeng Gao, Xiaoxiao Long,
Wenping Wang, Yuexin Ma
- Abstract要約: 反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。
実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
- 参考スコア(独自算出の注目度): 45.15827491185572
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The advent of neural 3D Gaussians has recently brought about a revolution in
the field of neural rendering, facilitating the generation of high-quality
renderings at real-time speeds. However, the explicit and discrete
representation encounters challenges when applied to scenes featuring
reflective surfaces. In this paper, we present GaussianShader, a novel method
that applies a simplified shading function on 3D Gaussians to enhance the
neural rendering in scenes with reflective surfaces while preserving the
training and rendering efficiency. The main challenge in applying the shading
function lies in the accurate normal estimation on discrete 3D Gaussians.
Specifically, we proposed a novel normal estimation framework based on the
shortest axis directions of 3D Gaussians with a delicately designed loss to
make the consistency between the normals and the geometries of Gaussian
spheres. Experiments show that GaussianShader strikes a commendable balance
between efficiency and visual quality. Our method surpasses Gaussian Splatting
in PSNR on specular object datasets, exhibiting an improvement of 1.57dB. When
compared to prior works handling reflective surfaces, such as Ref-NeRF, our
optimization time is significantly accelerated (23h vs. 0.58h). Please click on
our project website to see more results.
- Abstract(参考訳): neural 3d gaussianの出現は、最近、ニューラルネットワークのレンダリングの分野で革命をもたらし、リアルタイムのスピードで高品質なレンダリングを生成するのに役立った。
しかし、明示的かつ離散的な表現は、反射面を特徴付ける場面に適用すると困難に直面する。
本稿では,3次元ガウシアンに簡易シェーディング機能を適用したガウシアンシェーダーについて,トレーニングとレンダリングの効率を保ちながら,反射面を持つシーンにおけるニューラルレンダリングを強化する手法を提案する。
シェーディング関数を適用する際の主な課題は、離散3次元ガウスの正確な正規推定にある。
具体的には, 3次元ガウス球面の最小軸方向を微妙に設計し, 正規面とガウス球面の幾何学の整合性を持たせるための新しい正規推定フレームワークを提案する。
実験の結果、gaussianshaderは効率と視覚品質のバランスを保っていることがわかった。
提案手法は,PSNRにおけるガウス散乱を超越し,1.57dBの改善を示した。
Ref-NeRFのような反射面を扱う以前の作業と比較して、最適化時間は大幅に加速される(23h vs. 0.58h)。
プロジェクトのWebサイトをクリックして、さらなる結果を確認してください。
関連論文リスト
- Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian
Splatting [57.80942520483354]
3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。
球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
論文 参考訳(メタデータ) (2024-02-24T17:22:15Z) - Sparse-view CT Reconstruction with 3D Gaussian Volumetric Representation [13.667470059238607]
Sparse-view CTは従来のCTスキャンの放射線線量を減らすための有望な戦略である。
近年、3Dガウスアンは複雑な自然シーンのモデル化に応用されている。
スパース・ビューCT再建の可能性について検討した。
論文 参考訳(メタデータ) (2023-12-25T09:47:33Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting
Guidance [59.08521048003009]
本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。
3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。
我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
論文 参考訳(メタデータ) (2023-12-01T07:04:47Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and
200+ FPS [59.18668438479886]
光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。
ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。
本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
論文 参考訳(メタデータ) (2023-11-28T21:39:20Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。