論文の概要: RNG: Relightable Neural Gaussians

• arxiv url: http://arxiv.org/abs/2409.19702v1
• Date: Thu, 24 Oct 2024 08:17:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 21:29:26.261166
• Title: RNG: Relightable Neural Gaussians
• Title（参考訳）: RNG: 楽しいニューラルガウシアン
• Authors: Jiahui Fan, Fujun Luan, Jian Yang, Miloš Hašan, Beibei Wang,
• Abstract要約: RNGは、楽しいガウスの斬新な表現である。 本稿では,ニューラル3DGSフレームワーク下での影の深度改善ネットワークを提案する。 トレーニングで約20ドル、レンダリングで約600ドル、以前の作業よりも高速です。
• 参考スコア（独自算出の注目度）: 19.197099019727826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Gaussian Splatting (3DGS) has shown its impressive power in novel view synthesis. However, creating relightable 3D assets, especially for objects with ill-defined shapes (e.g., fur), is still a challenging task. For these scenes, the decomposition between the light, geometry, and material is more ambiguous, as neither the surface constraints nor the analytical shading model hold. To address this issue, we propose RNG, a novel representation of relightable neural Gaussians, enabling the relighting of objects with both hard surfaces or fluffy boundaries. We avoid any assumptions in the shading model but maintain feature vectors, which can be further decoded by an MLP into colors, in each Gaussian point. Following prior work, we utilize a point light to reduce the ambiguity and introduce a shadow-aware condition to the network. We additionally propose a depth refinement network to help the shadow computation under the 3DGS framework, leading to better shadow effects under point lights. Furthermore, to avoid the blurriness brought by the alpha-blending in 3DGS, we design a hybrid forward-deferred optimization strategy. As a result, we achieve about $20\times$ faster in training and about $600\times$ faster in rendering than prior work based on neural radiance fields, with $60$ frames per second on an RTX4090.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、新しいビュー合成において、その印象的な力を示している。 しかし、特に不定義の形状(例: fur)を持つオブジェクトに対して、リライタブルな3Dアセットを作成することは、依然として困難な作業である。 これらのシーンでは、表面の制約や分析シェーディングモデルが保持されないため、光、幾何学、材料の間の分解はより曖昧である。 この問題に対処するため、我々はRNGを提案する。RNGは、リライト可能なニューラルガウスの表現であり、硬い表面やふわふわした境界を持つ物体のリライティングを可能にする。 シェーディングモデルにおける仮定は避けるが、特徴ベクトルは維持し、各ガウス点において MLP によって色にさらに復号化することができる。 先行研究の後、各点灯を用いてあいまいさを低減し、ネットワークにシャドウ認識条件を導入する。 さらに,3DGSフレームワーク下での影の計算を支援する深度改善ネットワークを提案し,点灯下での影の効果を向上する。 さらに,3DGSにおけるアルファブレンディングによる曖昧さを回避するために,ハイブリッド前方遅延最適化戦略を設計する。 その結果、トレーニングで約20\times$、レンダリングで約600\times$を、RTX4090で毎秒60$フレームのニューラルラディアンスフィールドに基づく以前の作業よりも高速に達成しました。

関連論文リスト

• GlossGau: Efficient Inverse Rendering for Glossy Surface with Anisotropic Spherical Gaussian [4.5442067197725]
  GlossGauは、バニラ3D-GSに匹敵するトレーニングとレンダリング速度を維持しながら、光沢のある表面でシーンを再構築する効率的な逆レンダリングフレームワークである。 実験によりGrossGauは、光沢のある表面を持つデータセット上で、競争力や優れた再構築を実現することが示された。
  論文  参考訳（メタデータ） (2025-02-19T22:20:57Z)
• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• Subsurface Scattering for 3D Gaussian Splatting [10.990813043493642]
  散乱材料を用いた物体の3次元再構成とリライティングは、表面下の複雑な光輸送のために大きな課題となる。 本稿では,マルチビューOLAT(1光1つ)データを用いてオブジェクトの形状を最適にするためのフレームワークを提案する。 本手法は,インタラクティブな速度で素材編集,リライティング,新しいビュー合成を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T10:34:01Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。