論文の概要: EnvGS: Modeling View-Dependent Appearance with Environment Gaussian

• arxiv url: http://arxiv.org/abs/2412.15215v1
• Date: Thu, 19 Dec 2024 18:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:01.546628
• Title: EnvGS: Modeling View-Dependent Appearance with Environment Gaussian
• Title（参考訳）: EnvGS:環境ガウスによるビュー依存の出現のモデル化
• Authors: Tao Xie, Xi Chen, Zhen Xu, Yiman Xie, Yudong Jin, Yujun Shen, Sida Peng, Hujun Bao, Xiaowei Zhou,
• Abstract要約: EnvGSは、環境の反射を捉えるための明示的な3D表現として、ガウスプリミティブのセットを利用する新しいアプローチである。 これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのリフレクションを開発した。 複数の実世界および合成データセットから得られた結果は,本手法がより詳細な反射を生成することを示す。
• 参考スコア（独自算出の注目度）: 78.74634059559891
• License:
• Abstract: Reconstructing complex reflections in real-world scenes from 2D images is essential for achieving photorealistic novel view synthesis. Existing methods that utilize environment maps to model reflections from distant lighting often struggle with high-frequency reflection details and fail to account for near-field reflections. In this work, we introduce EnvGS, a novel approach that employs a set of Gaussian primitives as an explicit 3D representation for capturing reflections of environments. These environment Gaussian primitives are incorporated with base Gaussian primitives to model the appearance of the whole scene. To efficiently render these environment Gaussian primitives, we developed a ray-tracing-based renderer that leverages the GPU's RT core for fast rendering. This allows us to jointly optimize our model for high-quality reconstruction while maintaining real-time rendering speeds. Results from multiple real-world and synthetic datasets demonstrate that our method produces significantly more detailed reflections, achieving the best rendering quality in real-time novel view synthesis.
• Abstract（参考訳）: 2次元画像から現実のシーンの複雑なリフレクションを再構成することは、フォトリアリスティックな新奇なビューの合成を実現するのに不可欠である。 環境マップを利用して遠方からの反射をモデル化する既存の手法は、しばしば高周波反射の詳細に悩まされ、近接場反射を考慮できない。 本研究では,環境の反射を捉えるために,ガウスプリミティブの集合を明示的な3次元表現として用いた新しいアプローチであるEnvGSを紹介する。 これらの環境 ガウスのプリミティブは、シーン全体の外観をモデル化するためにガウスのプリミティブに組み込まれている。 これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのレンダラーを開発した。 これにより、リアルタイムレンダリング速度を維持しながら、高品質な再構築のためのモデルを共同で最適化することが可能になる。 複数の実世界および合成データセットから得られた結果から,本手法はより詳細な反射を生成できることを示す。

関連論文リスト

• LumiGauss: Relightable Gaussian Splatting in the Wild [15.11759492990967]
  本稿では,LumiGaussについて紹介する。LumiGaussは2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。 提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。 提案手法をNeRF-OSRデータセット上で検証し,ベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-06T23:41:57Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting [9.145875902703345]
  ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。 まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。 次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-23T04:12:07Z)
• BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis [42.93055827628597]
  本稿では,フォトリアリスティックな新規ビュー合成に適した大規模現実世界シーンの高品質メッシュを再構築する手法を提案する。 我々はまず,シーンの表面に対応する良好なレベルセットを持つように設計された,ハイブリッドなニューラルボリューム・サーフェス・シーン表現を最適化する。 そして、この表現を高品質な三角形メッシュに焼き込み、球面ガウスに基づく、シンプルで高速なビュー依存の外観モデルと組み合わせる。
  論文  参考訳（メタデータ） (2023-02-28T18:58:03Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。