論文の概要: GS-IR: 3D Gaussian Splatting for Inverse Rendering
- arxiv url: http://arxiv.org/abs/2311.16473v3
- Date: Thu, 28 Mar 2024 05:47:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 21:22:07.750506
- Title: GS-IR: 3D Gaussian Splatting for Inverse Rendering
- Title（参考訳）: GS-IR:逆レンダリングのための3次元ガウススティング
- Authors: Zhihao Liang, Qi Zhang, Ying Feng, Ying Shan, Kui Jia,
- Abstract要約: 3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
- 参考スコア（独自算出の注目度）: 71.14234327414086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose GS-IR, a novel inverse rendering approach based on 3D Gaussian Splatting (GS) that leverages forward mapping volume rendering to achieve photorealistic novel view synthesis and relighting results. Unlike previous works that use implicit neural representations and volume rendering (e.g. NeRF), which suffer from low expressive power and high computational complexity, we extend GS, a top-performance representation for novel view synthesis, to estimate scene geometry, surface material, and environment illumination from multi-view images captured under unknown lighting conditions. There are two main problems when introducing GS to inverse rendering: 1) GS does not support producing plausible normal natively; 2) forward mapping (e.g. rasterization and splatting) cannot trace the occlusion like backward mapping (e.g. ray tracing). To address these challenges, our GS-IR proposes an efficient optimization scheme that incorporates a depth-derivation-based regularization for normal estimation and a baking-based occlusion to model indirect lighting. The flexible and expressive GS representation allows us to achieve fast and compact geometry reconstruction, photorealistic novel view synthesis, and effective physically-based rendering. We demonstrate the superiority of our method over baseline methods through qualitative and quantitative evaluations on various challenging scenes.
- Abstract（参考訳）: 本稿では,3次元ガウススプラッティング(GS)に基づく新しい逆レンダリング手法であるGS-IRを提案する。
暗黙的なニューラル表現とボリュームレンダリング(eg NeRF)を低表現力と高い計算複雑性で用いた従来の研究とは異なり、GSは、未知の照明条件下で撮影されたマルチビュー画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高性能の表現であるGSを拡張している。
逆レンダリングにGSを導入する場合、主な問題は2つある。
1)GSは,本質的に可塑性な正常生産をサポートしない。
2)前方マッピング(例:ラスタ化,スプラッティング)は,後方マッピング(例:レイトレーシング)のようなオクルージョンを追跡できない。
これらの課題に対処するため、GS-IRは、正規推定のための深度微分に基づく正規化と間接照明をモデル化するためのベーキングに基づく隠蔽を組み込んだ効率的な最適化手法を提案する。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
本手法は,様々な挑戦シーンの質的,定量的な評価を通じて,ベースライン法よりも優れていることを示す。
関連論文リスト
- GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering [6.820642721852439]
GI-GSは3次元ガウススティング(3DGS)と遅延シェーディングを利用する新しい逆レンダリングフレームワークである。
筆者らのフレームワークでは,まずGバッファを描画し,シーンの詳細な形状と材料特性を捉える。
Gバッファと以前のレンダリング結果により、ライトウェイトパストレースにより間接照明を計算することができる。
論文 参考訳（メタデータ） (2024-10-03T15:58:18Z) - Phys3DGS: Physically-based 3D Gaussian Splatting for Inverse Rendering [5.908471365011943]
まず,表面下ガウス色が既存手法で採用したボリュームレンダリングにおいて,ガウス色に悪影響を及ぼす隠れガウス色によって生じる問題について報告する。
遅延レンダリングによる3DGSベースの逆レンダリングの品質向上を目的として,新しい2段階トレーニング手法を提案する。
実験の結果,提案手法は既存の3DGSベースの逆レンダリング法に比べて,レンダリング品質が大幅に向上していることがわかった。
論文 参考訳（メタデータ） (2024-09-16T14:46:36Z) - GS-ID: Illumination Decomposition on Gaussian Splatting via Diffusion Prior and Parametric Light Source Optimization [4.928698209254161]
本稿では,ガウススティングの照明分解のための新しいフレームワークであるGS-IDを提案する。
GS-IDは、幾何再構成とレンダリング性能を向上しつつ、最先端の照明分解結果を生成する。
論文 参考訳（メタデータ） (2024-08-16T04:38:31Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳（メタデータ） (2024-03-26T17:21:24Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T09:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。