論文の概要: RNG: Relightable Neural Gaussians

• arxiv url: http://arxiv.org/abs/2409.19702v2
• Date: Tue, 01 Oct 2024 06:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:31:47.032580
• Title: RNG: Relightable Neural Gaussians
• Title（参考訳）: RNG: 楽しいニューラルガウシアン
• Authors: Jiahui Fan, Fujun Luan, Jian Yang, Miloš Hašan, Beibei Wang,
• Abstract要約: RNGは、楽しいガウスの斬新な表現である。 本稿では,ニューラル3DGSフレームワーク下での影の深度改善ネットワークを提案する。 トレーニングで約20ドル、レンダリングで約600ドル、以前の作業よりも高速です。
• 参考スコア（独自算出の注目度）: 19.197099019727826
• License:
• Abstract: 3D Gaussian Splatting (3DGS) has shown its impressive power in novel view synthesis. However, creating relightable 3D assets, especially for objects with ill-defined shapes (e.g., fur), is still a challenging task. For these scenes, the decomposition between the light, geometry, and material is more ambiguous, as neither the surface constraints nor the analytical shading model hold. To address this issue, we propose RNG, a novel representation of relightable neural Gaussians, enabling the relighting of objects with both hard surfaces or fluffy boundaries. We avoid any assumptions in the shading model but maintain feature vectors, which can be further decoded by an MLP into colors, in each Gaussian point. Following prior work, we utilize a point light to reduce the ambiguity and introduce a shadow-aware condition to the network. We additionally propose a depth refinement network to help the shadow computation under the 3DGS framework, leading to better shadow effects under point lights. Furthermore, to avoid the blurriness brought by the alpha-blending in 3DGS, we design a hybrid forward-deferred optimization strategy. As a result, we achieve about $20\times$ faster in training and about $600\times$ faster in rendering than prior work based on neural radiance fields, with $60$ frames per second on an RTX4090.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、新しいビュー合成において、その印象的な力を示している。 しかし、特に不定義の形状(例: fur)を持つオブジェクトに対して、リライタブルな3Dアセットを作成することは、依然として困難な作業である。 これらのシーンでは、表面の制約や分析シェーディングモデルが保持されないため、光、幾何学、材料の間の分解はより曖昧である。 この問題に対処するため、我々はRNGを提案する。RNGは、リライト可能なニューラルガウスの表現であり、硬い表面やふわふわした境界を持つ物体のリライティングを可能にする。 シェーディングモデルにおける仮定は避けるが、特徴ベクトルは維持し、各ガウス点において MLP によって色にさらに復号化することができる。 先行研究の後、各点灯を用いてあいまいさを低減し、ネットワークにシャドウ認識条件を導入する。 さらに,3DGSフレームワーク下での影の計算を支援する深度改善ネットワークを提案し,点灯下での影の効果を向上する。 さらに,3DGSにおけるアルファブレンディングによる曖昧さを回避するために,ハイブリッド前方遅延最適化戦略を設計する。 その結果、トレーニングで約20\times$、レンダリングで約600\times$を、RTX4090で毎秒60$フレームのニューラルラディアンスフィールドに基づく以前の作業よりも高速に達成しました。

関連論文リスト

• GS-ROR: 3D Gaussian Splatting for Reflective Object Relighting via SDF Priors [20.523085632567717]
  SDF前駆体を用いた3DGSでリライトする反射物体に対してGS-RORを提案する。 提案手法は,既存のガウス方式の逆レンダリング手法よりも,照明品質に優れる。
  論文  参考訳（メタデータ） (2024-05-22T09:40:25Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Gaussian Shadow Casting for Neural Characters [20.78790953284832]
  本稿では,サンプリングを単純な解析式に置き換えたガウス密度プロキシを用いた新しい影モデルを提案する。 動的運動をサポートし、シャドウ計算用に調整されているため、近縁なガウススプラッティングで必要とされるアフィン射影近似やソートを避けることができる。 我々は、直射日光と硬い影を持つ屋外の挑戦シーンにおいて、アルベド、シェーディング、シャドウの分離性を向上し、改良された再構築を実演した。
  論文  参考訳（メタデータ） (2024-01-11T18:50:31Z)
• Gaussian Splatting with NeRF-based Color and Opacity [7.121259735505479]
  本研究では、3Dオブジェクトの形状のGS表現と、色と不透明度のNeRFに基づく符号化を利用するハイブリッドモデルであるビューングディビジョン・ガウス・スティング(VDGS)を提案する。 我々のモデルは、テクスチャや光の成分を追加することなく、影、光の反射、そして3Dオブジェクトの透明さをよりよく記述します。
  論文  参考訳（メタデータ） (2023-12-21T10:52:59Z)
• RNA: Relightable Neural Assets [5.955203575139312]
  繊維(毛髪を含む)を素材とした高忠実な3Dアセットは、ハイエンドのリアルなレンダリングアプリケーションではユビキタスである。 シェーディングと散乱モデルは簡単ではなく、3Dコンテンツオーサリングソフトウェアだけでなく、すべてのダウンストリーム実装で行う必要がある。 我々は、線表現と基礎となる幾何学との初交点におけるエンドツーエンドシェーディングソリューションを提供する。
  論文  参考訳（メタデータ） (2023-12-14T23:37:19Z)
• GaussianShader: 3D Gaussian Splatting with Shading Functions for Reflective Surfaces [45.15827491185572]
  反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。 実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T17:22:26Z)
• LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
  光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。 ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。 本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
  論文  参考訳（メタデータ） (2023-11-28T21:39:20Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。