論文の概要: Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF
Decomposition and Ray Tracing
- arxiv url: http://arxiv.org/abs/2311.16043v1
- Date: Mon, 27 Nov 2023 18:07:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 13:48:55.292065
- Title: Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF
Decomposition and Ray Tracing
- Title(参考訳): Relightable 3D Gaussian: BRDF分解とレイトレーシングによるリアルタイムポイントクラウドリライト
- Authors: Jian Gao, Chun Gu, Youtian Lin, Hao Zhu, Xun Cao, Li Zhang, Yao Yao
- Abstract要約: 多視点画像からの材料・照明分解のための点ベースレンダリングフレームワークを提案する。
このフレームワークは、3Dポイントクラウドの編集、レイトレーシング、リアルタイムリライトを可能にする。
われわれのフレームワークはメッシュベースのグラフィクスパイプラインに革命をもたらす可能性を実証している。
- 参考スコア(独自算出の注目度): 18.132915517047632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel differentiable point-based rendering framework for
material and lighting decomposition from multi-view images, enabling editing,
ray-tracing, and real-time relighting of the 3D point cloud. Specifically, a 3D
scene is represented as a set of relightable 3D Gaussian points, where each
point is additionally associated with a normal direction, BRDF parameters, and
incident lights from different directions. To achieve robust lighting
estimation, we further divide incident lights of each point into global and
local components, as well as view-dependent visibilities. The 3D scene is
optimized through the 3D Gaussian Splatting technique while BRDF and lighting
are decomposed by physically-based differentiable rendering. Moreover, we
introduce an innovative point-based ray-tracing approach based on the bounding
volume hierarchy for efficient visibility baking, enabling real-time rendering
and relighting of 3D Gaussian points with accurate shadow effects. Extensive
experiments demonstrate improved BRDF estimation and novel view rendering
results compared to state-of-the-art material estimation approaches. Our
framework showcases the potential to revolutionize the mesh-based graphics
pipeline with a relightable, traceable, and editable rendering pipeline solely
based on point cloud. Project
page:https://nju-3dv.github.io/projects/Relightable3DGaussian/.
- Abstract(参考訳): 本稿では,多視点画像から素材や照明を分解し,編集,光線トレーシング,リアルタイムの3Dポイントクラウドのリライトを可能にする,新たなポイントベースレンダリングフレームワークを提案する。
具体的には、3Dシーンを3Dガウス点の集合として表現し、各点が通常方向、BRDFパラメータ、異なる方向からの入射光と付加的に関連付けられている。
強固な照明推定を実現するために,各点の入射光をさらにグローバルおよびローカル成分に分割し,ビュー依存のビジビティを得る。
3Dシーンは3Dガウススティング技術によって最適化され、BRDFと照明は物理的に微分可能なレンダリングによって分解される。
さらに,バウンディングボリューム階層に基づく,より効率的な視認性ベイキングのための革新的なポイントベースレイトレーシング手法を導入し,正確な影効果を持つ3次元ガウス点のリアルタイムレンダリングとリライトを可能にした。
BRDF推定と新しいビューレンダリングは、最先端の材料推定手法と比較して改善された。
当社のフレームワークでは,ポイントクラウドのみをベースとした,ライトナブルでトレーサビリティ,編集可能なレンダリングパイプラインによって,メッシュベースのグラフィックパイプラインに革命をもたらす可能性を実証しています。
プロジェクトページ:https://nju-3dv.github.io/projects/relightable3dgaussian/
関連論文リスト
- pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable
Generalizable 3D Reconstruction [29.192847542384712]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳(メタデータ) (2023-12-19T17:03:50Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM [50.60694084264132]
3Dガウシアンによるシーンの表現は、単一の単眼のRGB-Dカメラを用いて高密度SLAMを実現することができることを示す。
私たちはオンラインのトラッキングとマッピングのパイプラインを採用し、基礎となるガウス表現を特に使用するように調整しています。
実験により、SplaTAMは、カメラポーズ推定、マップ構築、ノベルビュー合成において、最先端の性能を最大2倍に向上することが示された。
論文 参考訳(メタデータ) (2023-12-04T18:53:24Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Local Implicit Ray Function for Generalizable Radiance Field
Representation [20.67358742158244]
本稿では、新しいビューレンダリングのための一般化可能なニューラルレンダリング手法であるLIRF(Local Implicit Ray Function)を提案する。
円錐体フラスタム内の3次元位置が与えられると、LIRFは3次元座標と円錐体フラスタムの特徴を入力として取り、局所体積放射場を予測する。
座標は連続しているため、LIRFはボリュームレンダリングを通じて、高品質の新規ビューを継続的に評価する。
論文 参考訳(メタデータ) (2023-04-25T11:52:33Z) - Pointersect: Neural Rendering with Cloud-Ray Intersection [30.485621062087585]
本研究では,点雲を表面のように描画する新しい手法を提案する。
提案手法は識別可能であり,シーン固有の最適化を必要としない。
論文 参考訳(メタデータ) (2023-04-24T18:36:49Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Light Field Networks: Neural Scene Representations with
Single-Evaluation Rendering [60.02806355570514]
2次元観察から3Dシーンの表現を推定することは、コンピュータグラフィックス、コンピュータビジョン、人工知能の基本的な問題である。
そこで我々は,360度4次元光場における基礎となる3次元シーンの形状と外観の両面を表現した新しいニューラルシーン表現,光場ネットワーク(LFN)を提案する。
LFNからレイをレンダリングするには*single*ネットワークの評価しか必要としない。
論文 参考訳(メタデータ) (2021-06-04T17:54:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。