論文の概要: Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing

• arxiv url: http://arxiv.org/abs/2311.16043v1
• Date: Mon, 27 Nov 2023 18:07:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 13:48:55.292065
• Title: Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing
• Title（参考訳）: Relightable 3D Gaussian: BRDF分解とレイトレーシングによるリアルタイムポイントクラウドリライト
• Authors: Jian Gao, Chun Gu, Youtian Lin, Hao Zhu, Xun Cao, Li Zhang, Yao Yao
• Abstract要約: 多視点画像からの材料・照明分解のための点ベースレンダリングフレームワークを提案する。 このフレームワークは、3Dポイントクラウドの編集、レイトレーシング、リアルタイムリライトを可能にする。 われわれのフレームワークはメッシュベースのグラフィクスパイプラインに革命をもたらす可能性を実証している。
• 参考スコア（独自算出の注目度）: 18.132915517047632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel differentiable point-based rendering framework for material and lighting decomposition from multi-view images, enabling editing, ray-tracing, and real-time relighting of the 3D point cloud. Specifically, a 3D scene is represented as a set of relightable 3D Gaussian points, where each point is additionally associated with a normal direction, BRDF parameters, and incident lights from different directions. To achieve robust lighting estimation, we further divide incident lights of each point into global and local components, as well as view-dependent visibilities. The 3D scene is optimized through the 3D Gaussian Splatting technique while BRDF and lighting are decomposed by physically-based differentiable rendering. Moreover, we introduce an innovative point-based ray-tracing approach based on the bounding volume hierarchy for efficient visibility baking, enabling real-time rendering and relighting of 3D Gaussian points with accurate shadow effects. Extensive experiments demonstrate improved BRDF estimation and novel view rendering results compared to state-of-the-art material estimation approaches. Our framework showcases the potential to revolutionize the mesh-based graphics pipeline with a relightable, traceable, and editable rendering pipeline solely based on point cloud. Project page:https://nju-3dv.github.io/projects/Relightable3DGaussian/.
• Abstract（参考訳）: 本稿では,多視点画像から素材や照明を分解し,編集,光線トレーシング,リアルタイムの3Dポイントクラウドのリライトを可能にする,新たなポイントベースレンダリングフレームワークを提案する。 具体的には、3Dシーンを3Dガウス点の集合として表現し、各点が通常方向、BRDFパラメータ、異なる方向からの入射光と付加的に関連付けられている。 強固な照明推定を実現するために,各点の入射光をさらにグローバルおよびローカル成分に分割し,ビュー依存のビジビティを得る。 3Dシーンは3Dガウススティング技術によって最適化され、BRDFと照明は物理的に微分可能なレンダリングによって分解される。 さらに,バウンディングボリューム階層に基づく,より効率的な視認性ベイキングのための革新的なポイントベースレイトレーシング手法を導入し,正確な影効果を持つ3次元ガウス点のリアルタイムレンダリングとリライトを可能にした。 BRDF推定と新しいビューレンダリングは、最先端の材料推定手法と比較して改善された。 当社のフレームワークでは,ポイントクラウドのみをベースとした,ライトナブルでトレーサビリティ,編集可能なレンダリングパイプラインによって,メッシュベースのグラフィックパイプラインに革命をもたらす可能性を実証しています。 プロジェクトページ:https://nju-3dv.github.io/projects/relightable3dgaussian/

関連論文リスト

• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
  GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。 筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。 Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
  論文  参考訳（メタデータ） (2024-10-03T15:58:18Z)
• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。