論文の概要: Environment Maps Editing using Inverse Rendering and Adversarial Implicit Functions

• arxiv url: http://arxiv.org/abs/2410.18622v1
• Date: Thu, 24 Oct 2024 10:27:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:43:25.722526
• Title: Environment Maps Editing using Inverse Rendering and Adversarial Implicit Functions
• Title（参考訳）: 逆レンダリングと逆命令関数を用いた環境マップの編集
• Authors: Antonio D'Orazio, Davide Sforza, Fabio Pellacini, Iacopo Masi,
• Abstract要約: 逆微分可能レンダリングアーキテクチャを用いたハイダイナミックレンジ環境マップの編集は複雑な逆問題である。 そこで本研究では,HDR環境マップを識別可能なレンダリングを用いて編集し,空間性や値のばらつきに対処する手法を提案する。 我々の手法は、新しい光源でレンダリングされた環境マップを推定するなど、興味深いタスクへの道を開くことができる。
• 参考スコア（独自算出の注目度）: 8.20594611891252
• License:
• Abstract: Editing High Dynamic Range (HDR) environment maps using an inverse differentiable rendering architecture is a complex inverse problem due to the sparsity of relevant pixels and the challenges in balancing light sources and background. The pixels illuminating the objects are a small fraction of the total image, leading to noise and convergence issues when the optimization directly involves pixel values. HDR images, with pixel values beyond the typical Standard Dynamic Range (SDR), pose additional challenges. Higher learning rates corrupt the background during optimization, while lower learning rates fail to manipulate light sources. Our work introduces a novel method for editing HDR environment maps using a differentiable rendering, addressing sparsity and variance between values. Instead of introducing strong priors that extract the relevant HDR pixels and separate the light sources, or using tricks such as optimizing the HDR image in the log space, we propose to model the optimized environment map with a new variant of implicit neural representations able to handle HDR images. The neural representation is trained with adversarial perturbations over the weights to ensure smooth changes in the output when it receives gradients from the inverse rendering. In this way, we obtain novel and cheap environment maps without relying on latent spaces of expensive generative models, maintaining the original visual consistency. Experimental results demonstrate the method's effectiveness in reconstructing the desired lighting effects while preserving the fidelity of the map and reflections on objects in the scene. Our approach can pave the way to interesting tasks, such as estimating a new environment map given a rendering with novel light sources, maintaining the initial perceptual features, and enabling brush stroke-based editing of existing environment maps.
• Abstract（参考訳）: 逆微分可能レンダリングアーキテクチャを用いた高ダイナミックレンジ(HDR)環境マップの編集は、関連する画素の空間性や光源と背景のバランスの難しさによる複雑な逆問題である。 オブジェクトを照らすピクセルは全画像のごく一部であり、最適化がピクセル値を直接含む場合にノイズや収束の問題が発生する。 標準ダイナミックレンジ(SDR)を超えるピクセル値を持つHDR画像は、さらなる課題を提起する。 高い学習率が最適化の背景を汚し、低い学習率が光源を操作するのに失敗する。 そこで本研究では,HDR環境マップの表現方法を提案する。 関連するHDR画素を抽出して光源を分離する強力な先行情報を導入する代わりに,HDR画像のログ空間における最適化などのトリックを用いて,HDR画像を扱うことができる暗黙的ニューラル表現の新たな変種を用いて,最適化された環境マップをモデル化することを提案する。 神経表現は、逆レンダリングから勾配を受けると出力のスムーズな変化を保証するために、重みに対する逆の摂動で訓練される。 このようにして、我々は高価な生成モデルの潜在空間に頼ることなく、新しい安価な環境マップを入手し、元の視覚的一貫性を維持する。 実験により,現場の物体への反射や地図の忠実さを保ちながら,所望の照明効果を再現する手法の有効性を実証した。 提案手法は,新しい光源のレンダリングによる新しい環境マップの推定,最初の知覚的特徴の維持,既存の環境マップのブラシストロークによる編集など,興味深い課題への道を開くことができる。

関連論文リスト

• NieR: Normal-Based Lighting Scene Rendering [17.421326290704844]
  NieR(Normal-based Lighting Scene Rendering)は、様々な材料表面における光反射のニュアンスを考慮した新しいフレームワークである。 本稿では,光の反射特性を捉えたLD(Light Decomposition)モジュールについて述べる。 また、スパースガウス表現の限界を克服するためにHNGD (Hierarchical Normal Gradient Densification) モジュールを提案する。
  論文  参考訳（メタデータ） (2024-05-21T14:24:43Z)
• IRIS: Inverse Rendering of Indoor Scenes from Low Dynamic Range Images [32.83096814910201]
  本稿では,多視点低ダイナミックレンジ(LDR)画像からシーンの物理的特性と照明を復元する手法を提案する。 提案手法は,LDR画像を入力として利用する既存の手法よりも優れており,リアルなリライティングやオブジェクト挿入を実現している。
  論文  参考訳（メタデータ） (2024-01-23T18:59:56Z)
• Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry from Sparse Low Dynamic Range Panoramic Images [82.1477261107279]
  そこで本研究では,Sparse LDRパノラマ画像からの照射場を用いて,忠実な幾何復元のための観測回数を増やすことを提案する。 実験により、照射場は幾何復元とHDR再構成の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-26T08:10:22Z)
• RENI++ A Rotation-Equivariant, Scale-Invariant, Natural Illumination Prior [22.675951948615825]
  逆レンダリングは不適切な問題である。 現在の手法は球面調和照明や他の一般的な表現に依存している。 等価オートデコーダに基づく条件付きニューラルネットワーク表現を提案する。 我々は、1.6K HDR環境マップのデータセットに基づいてモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-15T20:48:26Z)
• Towards High-quality HDR Deghosting with Conditional Diffusion Models [88.83729417524823]
  高ダイナミックレンジ(LDR)画像は、既存のディープニューラルネットワーク(DNN)技術により、複数の低ダイナミックレンジ(LDR)画像から復元することができる。 DNNは、LDR画像が飽和度と大きな動きを持つ場合、ゴーストアーティファクトを生成する。 拡散モデルの条件としてLDR特徴を利用する画像生成としてHDRデゴースト問題を定式化する。
  論文  参考訳（メタデータ） (2023-11-02T01:53:55Z)
• NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering [23.482941494283978]
  本稿では,マルチビュー画像やビデオから可照性神経表面を復元するNeuS-PIR法を提案する。 NeRFや離散メッシュに基づく手法とは異なり,提案手法は暗黙のニューラルサーフェス表現を用いて高品質な幾何学を再構築する。 本手法は,現代のグラフィックスエンジンとシームレスに統合可能なリライトなどの高度なアプリケーションを実現する。
  論文  参考訳（メタデータ） (2023-06-13T09:02:57Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field Indirect Illumination [48.42173911185454]
  逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。 本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-29T12:05:19Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。