論文の概要: GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2405.20791v1
- Date: Fri, 31 May 2024 13:48:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-06-03 14:37:39.480726
- Title: GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis
- Title（参考訳）: GS-Phong:メタ学習型3Dガウシアンによる新しいビュー・シンセサイザー
- Authors: Yumeng He, Yunbo Wang, Xiaokang Yang,
- Abstract要約: 本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。
Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。
照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 63.5925701087252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoupling the illumination in 3D scenes is crucial for novel view synthesis and relighting. In this paper, we propose a novel method for representing a scene illuminated by a point light using a set of relightable 3D Gaussian points. Inspired by the Blinn-Phong model, our approach decomposes the scene into ambient, diffuse, and specular components, enabling the synthesis of realistic lighting effects. To facilitate the decomposition of geometric information independent of lighting conditions, we introduce a novel bilevel optimization-based meta-learning framework. The fundamental idea is to view the rendering tasks under various lighting positions as a multi-task learning problem, which our meta-learning approach effectively addresses by generalizing the learned Gaussian geometries not only across different viewpoints but also across diverse light positions. Experimental results demonstrate the effectiveness of our approach in terms of training efficiency and rendering quality compared to existing methods for free-viewpoint relighting.
- Abstract（参考訳）: 3Dシーンにおける照明の分離は、新しいビューの合成とリライティングに不可欠である。
本稿では,照明可能な3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する新しい手法を提案する。
Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異な構成要素に分解し、現実的な照明効果の合成を可能にする。
照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
基本的な考え方は、様々な照明位置下でのレンダリングタスクをマルチタスク学習問題と見なすことであり、メタラーニングアプローチは、学習されたガウス幾何学を様々な視点だけでなく、多様な光位置にわたって一般化することによって、効果的に対処する。
実験により,従来のフリー視点リライティング手法と比較して,トレーニング効率とレンダリング品質の観点から,本手法の有効性を実証した。
関連論文リスト
- Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis [49.67420486373202]
GRGSは、多彩な照明条件下での高忠実なヒューマン・ノベル・ビュー・シンセサイザーのための一般的な3Dガウスのフレームワークである。
我々は, 精密深度および表面の正常度を予測するために, 合成依存データに基づいて学習した照明対応幾何微細化(LGR)モジュールを提案する。
論文 参考訳（メタデータ） (2025-05-27T17:59:47Z) - MV-CoLight: Efficient Object Compositing with Consistent Lighting and Shadow Generation [19.46962637673285]
MV-CoLightは2Dおよび3Dシーンで合成される照度一貫性のあるオブジェクトのためのフレームワークである。
2次元画像入力と3次元ガウスシーン表現をシームレスに整列するために、ヒルベルト曲線に基づく写像を用いる。
実験では、標準ベンチマークとデータセット間で、最先端の調和した結果を実証した。
論文 参考訳（メタデータ） (2025-05-27T17:53:02Z) - Metamon-GS: Enhancing Representability with Variance-Guided Densification and Light Encoding [9.703262855661064]
3D Gaussian Splatting(3DGS)は、ガウスのシーンを表現できる。
大幅な進歩があったが、レンダリング性能を向上させることは依然として困難である。
分散誘導型デンシフィケーション戦略とマルチレベルハッシュグリッドの革新的視点からメタモンGSを提案する。
論文 参考訳（メタデータ） (2025-04-20T02:44:39Z) - GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering [69.67264955234494]
GeoSplattingは、3DGSを精密な光輸送モデリングのための明確な幾何学的ガイダンスで拡張する新しいアプローチである。
最適化可能なメッシュから表面積の3DGSを微分的に構築することにより、明確に定義されたメッシュ正規と不透明なメッシュ表面を利用する。
この強化により、3DGSの効率性と高品質なレンダリング能力を保ちながら、正確な材料分解が保証される。
論文 参考訳（メタデータ） (2024-10-31T17:57:07Z) - GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。
筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。
Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
論文 参考訳（メタデータ） (2024-10-03T15:58:18Z) - Subsurface Scattering for 3D Gaussian Splatting [10.990813043493642]
散乱材料を用いた物体の3次元再構成とリライティングは、表面下の複雑な光輸送のために大きな課題となる。
本稿では,マルチビューOLAT(1光1つ)データを用いてオブジェクトの形状を最適にするためのフレームワークを提案する。
本手法は,インタラクティブな速度で素材編集,リライティング,新しいビュー合成を可能にする。
論文 参考訳（メタデータ） (2024-08-22T10:34:01Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳（メタデータ） (2023-12-08T16:05:15Z) - Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。
提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
論文 参考訳（メタデータ） (2023-11-27T18:07:58Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。
副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
論文 参考訳（メタデータ） (2022-12-09T07:33:49Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。