論文の概要: RNG: Relightable Neural Gaussians

• arxiv url: http://arxiv.org/abs/2409.19702v3
• Date: Thu, 24 Oct 2024 08:17:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 21:29:26.255224
• Title: RNG: Relightable Neural Gaussians
• Title（参考訳）: RNG: 楽しいニューラルガウシアン
• Authors: Jiahui Fan, Fujun Luan, Jian Yang, Miloš Hašan, Beibei Wang,
• Abstract要約: RNGは、楽しいガウスの斬新な表現である。 本稿では,ニューラル3DGSフレームワーク下での影の深度改善ネットワークを提案する。 トレーニングで約20ドル、レンダリングで約600ドル、以前の作業よりも高速です。
• 参考スコア（独自算出の注目度）: 19.197099019727826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Gaussian Splatting (3DGS) has shown its impressive power in novel view synthesis. However, creating relightable 3D assets, especially for objects with ill-defined shapes (e.g., fur), is still a challenging task. For these scenes, the decomposition between the light, geometry, and material is more ambiguous, as neither the surface constraints nor the analytical shading model hold. To address this issue, we propose RNG, a novel representation of relightable neural Gaussians, enabling the relighting of objects with both hard surfaces or fluffy boundaries. We avoid any assumptions in the shading model but maintain feature vectors, which can be further decoded by an MLP into colors, in each Gaussian point. Following prior work, we utilize a point light to reduce the ambiguity and introduce a shadow-aware condition to the network. We additionally propose a depth refinement network to help the shadow computation under the 3DGS framework, leading to better shadow effects under point lights. Furthermore, to avoid the blurriness brought by the alpha-blending in 3DGS, we design a hybrid forward-deferred optimization strategy. As a result, we achieve about $20\times$ faster in training and about $600\times$ faster in rendering than prior work based on neural radiance fields, with $60$ frames per second on an RTX4090.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、新しいビュー合成において、その印象的な力を示している。 しかし、特に不定義の形状(例: fur)を持つオブジェクトに対して、リライタブルな3Dアセットを作成することは、依然として困難な作業である。 これらのシーンでは、表面の制約や分析シェーディングモデルが保持されないため、光、幾何学、材料の間の分解はより曖昧である。 この問題に対処するため、我々はRNGを提案する。RNGは、リライト可能なニューラルガウスの表現であり、硬い表面やふわふわした境界を持つ物体のリライティングを可能にする。 シェーディングモデルにおける仮定は避けるが、特徴ベクトルは維持し、各ガウス点において MLP によって色にさらに復号化することができる。 先行研究の後、各点灯を用いてあいまいさを低減し、ネットワークにシャドウ認識条件を導入する。 さらに,3DGSフレームワーク下での影の計算を支援する深度改善ネットワークを提案し,点灯下での影の効果を向上する。 さらに,3DGSにおけるアルファブレンディングによる曖昧さを回避するために,ハイブリッド前方遅延最適化戦略を設計する。 その結果、トレーニングで約20\times$、レンダリングで約600\times$を、RTX4090で毎秒60$フレームのニューラルラディアンスフィールドに基づく以前の作業よりも高速に達成しました。

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• GS-ROR: 3D Gaussian Splatting for Reflective Object Relighting via SDF Priors [20.523085632567717]
  SDF前駆体を用いた3DGSでリライトする反射物体に対してGS-RORを提案する。 提案手法は,既存のガウス方式の逆レンダリング手法よりも,照明品質に優れる。
  論文  参考訳（メタデータ） (2024-05-22T09:40:25Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• Gaussian Shadow Casting for Neural Characters [20.78790953284832]
  本稿では,サンプリングを単純な解析式に置き換えたガウス密度プロキシを用いた新しい影モデルを提案する。 動的運動をサポートし、シャドウ計算用に調整されているため、近縁なガウススプラッティングで必要とされるアフィン射影近似やソートを避けることができる。 我々は、直射日光と硬い影を持つ屋外の挑戦シーンにおいて、アルベド、シェーディング、シャドウの分離性を向上し、改良された再構築を実演した。
  論文  参考訳（メタデータ） (2024-01-11T18:50:31Z)
• Gaussian Splatting with NeRF-based Color and Opacity [7.121259735505479]
  本研究では、3Dオブジェクトの形状のGS表現と、色と不透明度のNeRFに基づく符号化を利用するハイブリッドモデルであるビューングディビジョン・ガウス・スティング(VDGS)を提案する。 我々のモデルは、テクスチャや光の成分を追加することなく、影、光の反射、そして3Dオブジェクトの透明さをよりよく記述します。
  論文  参考訳（メタデータ） (2023-12-21T10:52:59Z)
• RNA: Relightable Neural Assets [5.955203575139312]
  繊維(毛髪を含む)を素材とした高忠実な3Dアセットは、ハイエンドのリアルなレンダリングアプリケーションではユビキタスである。 シェーディングと散乱モデルは簡単ではなく、3Dコンテンツオーサリングソフトウェアだけでなく、すべてのダウンストリーム実装で行う必要がある。 我々は、線表現と基礎となる幾何学との初交点におけるエンドツーエンドシェーディングソリューションを提供する。
  論文  参考訳（メタデータ） (2023-12-14T23:37:19Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis [163.96778522283967]
  そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。 正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。 複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-29T10:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。