論文の概要: GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2405.20791v1
- Date: Fri, 31 May 2024 13:48:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 14:37:39.480726
- Title: GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis
- Title（参考訳）: GS-Phong:メタ学習型3Dガウシアンによる新しいビュー・シンセサイザー
- Authors: Yumeng He, Yunbo Wang, Xiaokang Yang,
- Abstract要約: 本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。
Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。
照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 63.5925701087252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoupling the illumination in 3D scenes is crucial for novel view synthesis and relighting. In this paper, we propose a novel method for representing a scene illuminated by a point light using a set of relightable 3D Gaussian points. Inspired by the Blinn-Phong model, our approach decomposes the scene into ambient, diffuse, and specular components, enabling the synthesis of realistic lighting effects. To facilitate the decomposition of geometric information independent of lighting conditions, we introduce a novel bilevel optimization-based meta-learning framework. The fundamental idea is to view the rendering tasks under various lighting positions as a multi-task learning problem, which our meta-learning approach effectively addresses by generalizing the learned Gaussian geometries not only across different viewpoints but also across diverse light positions. Experimental results demonstrate the effectiveness of our approach in terms of training efficiency and rendering quality compared to existing methods for free-viewpoint relighting.
- Abstract（参考訳）: 3Dシーンにおける照明の分離は、新しいビューの合成とリライティングに不可欠である。
本稿では,照明可能な3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する新しい手法を提案する。
Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異な構成要素に分解し、現実的な照明効果の合成を可能にする。
照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
基本的な考え方は、様々な照明位置下でのレンダリングタスクをマルチタスク学習問題と見なすことであり、メタラーニングアプローチは、学習されたガウス幾何学を様々な視点だけでなく、多様な光位置にわたって一般化することによって、効果的に対処する。
実験により,従来のフリー視点リライティング手法と比較して,トレーニング効率とレンダリング品質の観点から,本手法の有効性を実証した。
関連論文リスト
- GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。
筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。
Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
論文 参考訳（メタデータ） (2024-10-03T15:58:18Z) - Subsurface Scattering for 3D Gaussian Splatting [10.990813043493642]
散乱材料を用いた物体の3次元再構成とリライティングは、表面下の複雑な光輸送のために大きな課題となる。
本稿では,マルチビューOLAT(1光1つ)データを用いてオブジェクトの形状を最適にするためのフレームワークを提案する。
本手法は,インタラクティブな速度で素材編集,リライティング,新しいビュー合成を可能にする。
論文 参考訳（メタデータ） (2024-08-22T10:34:01Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳（メタデータ） (2023-12-08T16:05:15Z) - Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。
提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
論文 参考訳（メタデータ） (2023-11-27T18:07:58Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳（メタデータ） (2022-12-09T07:33:49Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。