論文の概要: Diffusion Reflectance Map: Single-Image Stochastic Inverse Rendering of Illumination and Reflectance

• arxiv url: http://arxiv.org/abs/2312.04529v2
• Date: Tue, 26 Mar 2024 09:21:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 22:23:06.324689
• Title: Diffusion Reflectance Map: Single-Image Stochastic Inverse Rendering of Illumination and Reflectance
• Title（参考訳）: 拡散リフレクタンスマップ:イルミネーションとリフレクタンスの一画像確率逆レンダリング
• Authors: Yuto Enyo, Ko Nishino,
• Abstract要約: 反射は、物体の外観における照明の周波数スペクトルを束縛する。 本稿では,照明の減衰周波数スペクトルを既知の幾何の物体の反射率とともに復元する第1逆レンダリング法を提案する。
• 参考スコア（独自算出の注目度）: 19.20790327389337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reflectance bounds the frequency spectrum of illumination in the object appearance. In this paper, we introduce the first stochastic inverse rendering method, which recovers the attenuated frequency spectrum of an illumination jointly with the reflectance of an object of known geometry from a single image. Our key idea is to solve this blind inverse problem in the reflectance map, an appearance representation invariant to the underlying geometry, by learning to reverse the image formation with a novel diffusion model which we refer to as the Diffusion Reflectance Map Network (DRMNet). Given an observed reflectance map converted and completed from the single input image, DRMNet generates a reflectance map corresponding to a perfect mirror sphere while jointly estimating the reflectance. The forward process can be understood as gradually filtering a natural illumination with lower and lower frequency reflectance and additive Gaussian noise. DRMNet learns to invert this process with two subnetworks, IllNet and RefNet, which work in concert towards this joint estimation. The network is trained on an extensive synthetic dataset and is demonstrated to generalize to real images, showing state-of-the-art accuracy on established datasets.
• Abstract（参考訳）: 反射は、物体の外観における照明の周波数スペクトルを束縛する。 本稿では,照明の減衰周波数スペクトルを1つの画像から既知幾何の物体の反射率と併用して復元する,最初の確率逆レンダリング手法を提案する。 我々のキーとなる考え方は、画像形成を新しい拡散モデルで学習することで、反射率マップの視覚的逆問題、すなわち、基礎となる幾何学に不変な外観表現を、拡散反射率マップネットワーク(DRMNet)と呼ぶことで解決することである。 DRMNetは、単一の入力画像から変換および完了した観測反射率マップを与えられた場合、反射率を共同で推定しながら、完全なミラー球に対応する反射率マップを生成する。 フォワード過程は、徐々に低周波反射率と加法的ガウス雑音で自然照明をフィルタリングするものとして理解することができる。 DRMNetは、このプロセスを2つのサブネットワーク、IllNetとRefNetで逆転させることを学んでいる。 ネットワークは広範な合成データセットに基づいてトレーニングされ、実際の画像に一般化することが実証され、確立されたデータセットの最先端の精度が示される。

関連論文リスト

• Planar Reflection-Aware Neural Radiance Fields [32.709468082010126]
  我々は、窓などの平面反射体を共同でモデル化し、反射光を明示的に鋳造して高周波反射源を捉える反射型NeRFを提案する。 一次光線に沿ってレンダリングすると、きれいで反射のないビューとなり、一方、反射光線に沿って明示的にレンダリングすることで、非常に詳細な反射を再構成することができる。
  論文  参考訳（メタデータ） (2024-11-07T18:55:08Z)
• Revisiting Single Image Reflection Removal In the Wild [83.42368937164473]
  本研究は,実環境におけるシングルイメージリフレクション除去(SIRR)の問題に焦点をあてる。 我々は,様々な現実世界のリフレクションシナリオに高度に適用可能な,高度なリフレクション収集パイプラインを考案した。 野生での反射除去(RRW)と呼ばれる大規模で高品質な反射データセットを開発する。
  論文  参考訳（メタデータ） (2023-11-29T02:31:10Z)
• DeepShaRM: Multi-View Shape and Reflectance Map Recovery Under Unknown Lighting [35.18426818323455]
  我々は,この課題に対して最先端の精度を実現する新しいマルチビュー手法であるDeepShaRMを導出する。 本稿では,カメラ・ビュー・リフレクタンス・マップを復元する新しいディープ・リフレクタンス・マップ推定ネットワークを提案する。 シェーディングネットワークは、符号付き距離関数で表される幾何推定を更新する。
  論文  参考訳（メタデータ） (2023-10-26T17:50:10Z)
• TraM-NeRF: Tracing Mirror and Near-Perfect Specular Reflections through Neural Radiance Fields [3.061835990893184]
  NeRF(Neural Radiance Fields)のような暗黙の表現は、複雑なシーンを細かな詳細でレンダリングするための印象的な結果を示した。 本研究では,NeRF内部のボリュームレンダリングに適した新しいリフレクショントレーシング手法を提案する。 少数の試料から,光線による重要サンプリングと透過率計算の効率的な手法を導出した。
  論文  参考訳（メタデータ） (2023-10-16T17:59:56Z)
• Ref-NeuS: Ambiguity-Reduced Neural Implicit Surface Learning for Multi-View Reconstruction with Reflection [24.23826907954389]
  Ref-NeuSは反射面の効果を減衰させることで曖昧さを減らすことを目的としている。 本研究では,反射面上での高品質な表面再構成を実現し,その精度を高いマージンで向上することを示す。
  論文  参考訳（メタデータ） (2023-03-20T03:08:22Z)
• Self-calibrating Photometric Stereo by Neural Inverse Rendering [88.67603644930466]
  本稿では3次元オブジェクト再構成のための非校正光度ステレオの課題に取り組む。 本研究では,物体形状,光方向,光強度を協調的に最適化する手法を提案する。 本手法は,実世界のデータセット上での光推定と形状復元における最先端の精度を示す。
  論文  参考訳（メタデータ） (2022-07-16T02:46:15Z)
• Location-aware Single Image Reflection Removal [54.93808224890273]
  本稿では,位置認識型深層学習に基づく単一画像反射除去手法を提案する。 我々は,リフレクション信頼度マップをネットワークの手がかりとして活用し,リフレクション情報を適応的にエンコードする方法を学習する。 位置情報のネットワークへの統合は、反射除去結果の品質を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-12-13T19:34:35Z)
• Uncalibrated Neural Inverse Rendering for Photometric Stereo of General Surfaces [103.08512487830669]
  本稿では,測光ステレオ問題に対する無補間深層ニューラルネットワークフレームワークを提案する。 既存のニューラルネットワークベースの方法は、物体の正確な光方向または接地正則のいずれかまたは両方を必要とします。 本稿では,この問題に対する未調整の神経逆レンダリング手法を提案する。
  論文  参考訳（メタデータ） (2020-12-12T10:33:08Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)
• Polarized Reflection Removal with Perfect Alignment in the Wild [66.48211204364142]
  野生の偏光画像からの反射を除去するための新しい定式化法を提案する。 まず、既存のリフレクション除去データセットの不整合問題を同定する。 我々は100種類以上のガラスを用いた新しいデータセットを構築し、得られた透過画像は入力された混合画像と完全に一致している。
  論文  参考訳（メタデータ） (2020-03-28T13:29:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。