論文の概要: MixLight: Borrowing the Best of both Spherical Harmonics and Gaussian Models

• arxiv url: http://arxiv.org/abs/2404.12768v1
• Date: Fri, 19 Apr 2024 10:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 15:26:30.750949
• Title: MixLight: Borrowing the Best of both Spherical Harmonics and Gaussian Models
• Title（参考訳）: MixLight: 球高調波とガウスモデルの両方でベストを尽くす
• Authors: Xinlong Ji, Fangneng Zhan, Shijian Lu, Shi-Sheng Huang, Hua Huang,
• Abstract要約: 既存の作業では、照明マップを生成したり、照明パラメータを回帰することによって照明を推定する。 本稿では,SHとSGの相補的特性を利用して,より完全な照明表現を実現するジョイントモデルであるMixLightを提案する。
• 参考スコア（独自算出の注目度）: 69.39388799906409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately estimating scene lighting is critical for applications such as mixed reality. Existing works estimate illumination by generating illumination maps or regressing illumination parameters. However, the method of generating illumination maps has poor generalization performance and parametric models such as Spherical Harmonic (SH) and Spherical Gaussian (SG) fall short in capturing high-frequency or low-frequency components. This paper presents MixLight, a joint model that utilizes the complementary characteristics of SH and SG to achieve a more complete illumination representation, which uses SH and SG to capture low-frequency ambient and high-frequency light sources respectively. In addition, a special spherical light source sparsemax (SLSparsemax) module that refers to the position and brightness relationship between spherical light sources is designed to improve their sparsity, which is significant but omitted by prior works. Extensive experiments demonstrate that MixLight surpasses state-of-the-art (SOTA) methods on multiple metrics. In addition, experiments on Web Dataset also show that MixLight as a parametric method has better generalization performance than non-parametric methods.
• Abstract（参考訳）: シーンライティングの正確な推定は、混合現実のような応用には不可欠である。 既存の作業では、照明マップを生成したり、照明パラメータを回帰することによって照明を推定する。 しかし、照明マップを生成する方法は一般化性能が劣り、球高調波(SH)や球高調波(SG)のようなパラメトリックモデルでは高周波や低周波の成分を捕捉できない。 本稿では、SHとSGの相補的な特性を利用してより完全な照明表現を実現するジョイントモデルであるMixLightについて述べる。 さらに、球状光源間の位置と明るさの関係を示す特別な球状光源スパースマックス(SLSparsemax)モジュールは、その空間性を改善するように設計されている。 大規模な実験では、MixLightが複数のメトリクスの最先端(SOTA)メソッドを超えることが示されている。 さらに、Web Dataset の実験により、MixLight がパラメトリック法として、非パラメトリック法よりも優れた一般化性能を持つことが示された。

関連論文リスト

• LIPIDS: Learning-based Illumination Planning In Discretized (Light) Space for Photometric Stereo [19.021200954913475]
  光度ステレオは、被写体の異なる照明画像から画素当たりの表面正規値を得るための強力な方法である。 照明の方向が多すぎるため、最適な設定を見つけることは困難である。 LIPIDS(Learning-based Illumination Planning in Discretized Light Space)を紹介する。
  論文  参考訳（メタデータ） (2024-09-01T09:54:16Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• Sparse Needlets for Lighting Estimation with Spherical Transport Loss [89.52531416604774]
  NeedleLightは、新しい照明推定モデルであり、必要に応じて照明を表現し、周波数領域と空間領域を共同で照明推定することができる。 大規模な実験により、NeedleLightは、最先端の手法と比較して、複数の評価指標で常に優れた照明推定を実現していることがわかった。
  論文  参考訳（メタデータ） (2021-06-24T15:19:42Z)
• Leveraging Spatial and Photometric Context for Calibrated Non-Lambertian Photometric Stereo [61.6260594326246]
  空間と測光の両方を同時に活用できる効率的な完全畳み込みアーキテクチャを提案する。 分離可能な4D畳み込みと2D熱マップを使うことで、サイズが小さくなり、効率が向上する。
  論文  参考訳（メタデータ） (2021-03-22T18:06:58Z)
• GMLight: Lighting Estimation via Geometric Distribution Approximation [86.95367898017358]
  本稿では,効率的な照明推定のための回帰ネットワークと生成プロジェクタを用いた照明推定フレームワークを提案する。 幾何学的な光の分布、光強度、周囲条件、および補助深さの点から照明シーンをパラメータ化し、純粋な回帰タスクとして推定します。 推定照明パラメータを用いて、生成プロジェクタはパノラマ照明マップを現実的な外観と周波数で合成する。
  論文  参考訳（メタデータ） (2021-02-20T03:31:52Z)
• EMLight: Lighting Estimation via Spherical Distribution Approximation [33.26530733479459]
  本稿では,回帰ネットワークとニューラルプロジェクタを用いて正確な照明推定を行う照明推定フレームワークを提案する。 照明マップを球状光分布、光強度、周囲期間に分解します。 予測された球面分布、光強度、周囲項の誘導の下で、神経プロジェクターは現実的な光周波数でパノラマ照明マップを合成する。
  論文  参考訳（メタデータ） (2020-12-21T04:54:08Z)
• PointAR: Efficient Lighting Estimation for Mobile Augmented Reality [7.58114840374767]
  本稿では,現代のモバイルデバイス上での動作に適した効率的な照明推定パイプラインを提案する。 PointARは、モバイルカメラから撮影した1枚のRGB-D画像と、その画像中の2D位置を取得し、2次球面高調波係数を推定する。
  論文  参考訳（メタデータ） (2020-03-30T19:13:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。