論文の概要: EnvGS: Modeling View-Dependent Appearance with Environment Gaussian

• arxiv url: http://arxiv.org/abs/2412.15215v2
• Date: Thu, 27 Mar 2025 11:12:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 14:27:26.065351
• Title: EnvGS: Modeling View-Dependent Appearance with Environment Gaussian
• Title（参考訳）: EnvGS:環境ガウスによるビュー依存の出現のモデル化
• Authors: Tao Xie, Xi Chen, Zhen Xu, Yiman Xie, Yudong Jin, Yujun Shen, Sida Peng, Hujun Bao, Xiaowei Zhou,
• Abstract要約: EnvGSは、環境の反射を捉えるための明示的な3D表現として、ガウスプリミティブのセットを利用する新しいアプローチである。 これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのリフレクションを開発した。 複数の実世界および合成データセットから得られた結果は,本手法がより詳細な反射を生成することを示す。
• 参考スコア（独自算出の注目度）: 78.74634059559891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing complex reflections in real-world scenes from 2D images is essential for achieving photorealistic novel view synthesis. Existing methods that utilize environment maps to model reflections from distant lighting often struggle with high-frequency reflection details and fail to account for near-field reflections. In this work, we introduce EnvGS, a novel approach that employs a set of Gaussian primitives as an explicit 3D representation for capturing reflections of environments. These environment Gaussian primitives are incorporated with base Gaussian primitives to model the appearance of the whole scene. To efficiently render these environment Gaussian primitives, we developed a ray-tracing-based renderer that leverages the GPU's RT core for fast rendering. This allows us to jointly optimize our model for high-quality reconstruction while maintaining real-time rendering speeds. Results from multiple real-world and synthetic datasets demonstrate that our method produces significantly more detailed reflections, achieving the best rendering quality in real-time novel view synthesis. The code is available at https://zju3dv.github.io/envgs.
• Abstract（参考訳）: 2次元画像から現実のシーンの複雑なリフレクションを再構成することは、フォトリアリスティックな新奇なビューの合成を実現するのに不可欠である。 環境マップを利用して遠方からの反射をモデル化する既存の手法は、しばしば高周波反射の詳細に悩まされ、近接場反射を考慮できない。 本研究では,環境の反射を捉えるために,ガウスプリミティブの集合を明示的な3次元表現として用いた新しいアプローチであるEnvGSを紹介する。 これらの環境 ガウスのプリミティブは、シーン全体の外観をモデル化するためにガウスのプリミティブに組み込まれている。 これらの環境を効率的にレンダリングするために,高速レンダリングにGPUのRTコアを利用するレイトレーシングベースのレンダラーを開発した。 これにより、リアルタイムレンダリング速度を維持しながら、高品質な再構築のためのモデルを共同で最適化することが可能になる。 複数の実世界および合成データセットから得られた結果から,本手法はより詳細な反射を生成できることを示す。 コードはhttps://zju3dv.github.io/envgs.comで公開されている。

関連論文リスト

• RGS-DR: Reflective Gaussian Surfels with Deferred Rendering for Shiny Objects [40.7625935521925]
  RGS-DRは光沢・反射性オブジェクトを再構成・描画するための新しい逆レンダリング手法である。 フレキシブルなリライトとシーン編集をサポートする。
  論文  参考訳（メタデータ） (2025-04-25T16:23:50Z)
• DehazeGS: Seeing Through Fog with 3D Gaussian Splatting [17.119969983512533]
  DehazeGSは,霧のない背景をメディアから分解・レンダリングできる手法である。 合成と実世界の霧のデータセットの実験は、DehazeGSが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-01-07T09:47:46Z)
• LumiGauss: Relightable Gaussian Splatting in the Wild [15.11759492990967]
  本稿では,LumiGaussについて紹介する。LumiGaussは2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。 提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。 提案手法をNeRF-OSRデータセット上で検証し,ベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-06T23:41:57Z)
• LaRa: Efficient Large-Baseline Radiance Fields [32.86296116177701]
  本稿では,トランス層における局所的および大域的推論を統一する手法を提案する。 我々のモデルはガウスボリュームとしてシーンを表現し、これを画像エンコーダとグループ注意層と組み合わせて効率的なフィードフォワード再構築を行う。
  論文  参考訳（メタデータ） (2024-07-05T17:59:58Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
  MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。 MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
  論文  参考訳（メタデータ） (2024-05-20T17:59:30Z)
• REFRAME: Reflective Surface Real-Time Rendering for Mobile Devices [51.983541908241726]
  本研究は,様々な場面にまたがる反射面に対して,リアルタイムな新規ビュー合成を実現するための課題に取り組む。 既存のリアルタイムレンダリング手法、特にメッシュに基づくレンダリングは、リッチなビュー依存の外観を持つモデリングサーフェスにおいて、サブパーパフォーマンスを持つことが多い。 色を拡散およびスペクトルに分解し、ニューラル環境マップに基づいて反射方向のスペクトル色をモデル化する。
  論文  参考訳（メタデータ） (2024-03-25T07:07:50Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• ENVIDR: Implicit Differentiable Renderer with Neural Environment Lighting [9.145875902703345]
  ENVIDRは、高精細な反射を伴う表面の高精細なレンダリングと再構成のためのレンダリングとモデリングのためのフレームワークである。 まず、表面光と環境光の相互作用を学習するために、分解レンダリングを用いた新しいニューラルネットワークを提案する。 次に、この学習されたニューラルサーフェスを利用して一般的なシーンを表現するSDFベースのニューラルサーフェスモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-23T04:12:07Z)
• BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis [42.93055827628597]
  本稿では,フォトリアリスティックな新規ビュー合成に適した大規模現実世界シーンの高品質メッシュを再構築する手法を提案する。 我々はまず,シーンの表面に対応する良好なレベルセットを持つように設計された,ハイブリッドなニューラルボリューム・サーフェス・シーン表現を最適化する。 そして、この表現を高品質な三角形メッシュに焼き込み、球面ガウスに基づく、シンプルで高速なビュー依存の外観モデルと組み合わせる。
  論文  参考訳（メタデータ） (2023-02-28T18:58:03Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
  シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。 我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
  論文  参考訳（メタデータ） (2020-08-09T22:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。