論文の概要: Estimating Reflectance Layer from A Single Image: Integrating Reflectance Guidance and Shadow/Specular Aware Learning

• arxiv url: http://arxiv.org/abs/2211.14751v3
• Date: Sat, 5 Aug 2023 17:04:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 00:40:29.103884
• Title: Estimating Reflectance Layer from A Single Image: Integrating Reflectance Guidance and Shadow/Specular Aware Learning
• Title（参考訳）: 単一画像からの反射層の推定:反射誘導と影/特異認識の統合
• Authors: Yeying Jin, Ruoteng Li, Wenhan Yang, Robby T. Tan
• Abstract要約: 本稿では,2段階の学習手法を提案し,その課題に対処するためのリフレクタンスガイダンスとシャドウ/スペック・アウェア(S-Aware)ネットワークを提案する。 第1段階では、新規な損失の制約を伴い、影や特異性のない初期反射層を得る。 第二段改良において、反射層が影や特異点に依存しないようにさらに強制するために、入力画像と反射像を区別するS-Awareネットワークを導入する。
• 参考スコア（独自算出の注目度）: 66.36104525390316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating the reflectance layer from a single image is a challenging task. It becomes more challenging when the input image contains shadows or specular highlights, which often render an inaccurate estimate of the reflectance layer. Therefore, we propose a two-stage learning method, including reflectance guidance and a Shadow/Specular-Aware (S-Aware) network to tackle the problem. In the first stage, an initial reflectance layer free from shadows and specularities is obtained with the constraint of novel losses that are guided by prior-based shadow-free and specular-free images. To further enforce the reflectance layer to be independent of shadows and specularities in the second-stage refinement, we introduce an S-Aware network that distinguishes the reflectance image from the input image. Our network employs a classifier to categorize shadow/shadow-free, specular/specular-free classes, enabling the activation features to function as attention maps that focus on shadow/specular regions. Our quantitative and qualitative evaluations show that our method outperforms the state-of-the-art methods in the reflectance layer estimation that is free from shadows and specularities. Code is at: \url{https://github.com/jinyeying/S-Aware-network}.
• Abstract（参考訳）: 単一の画像から反射層を推定することは難しい課題である。 入力画像にシャドーやスペクトルハイライトが含まれていると、反射層の不正確な推定がしばしば発生するため、より困難になる。 そこで本研究では,リフレクタンスガイダンスとシャドウ/スペック・アウェア(S-Aware)ネットワークを含む2段階の学習手法を提案する。 第1段階では、先行ベースのシャドウフリー及びスペクラーフリー画像により誘導される新規損失の制約により、シャドウ及びスペクティリティのない初期反射層を得る。 第二段改良において、反射層が影や特異点に依存しないようにさらに強制するために、入力画像と反射像を区別するS-Awareネットワークを導入する。 我々のネットワークは、シャドー/シャドーフリー、スペキュラ/スペキュラフリーのクラスを分類し、アクティベーション機能をシャドー/特定領域にフォーカスするアテンションマップとして機能させる。 定量的および定性的評価により,提案手法は影や特異性のない反射層推定において,最先端の手法よりも優れていた。 コードは: \url{https://github.com/jinyeying/S-Aware-network}。

関連論文リスト

• Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
  影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。 影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。 この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
  論文  参考訳（メタデータ） (2024-07-11T20:58:38Z)
• R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
  現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。 本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。 提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-09-20T15:09:22Z)
• Unsupervised Portrait Shadow Removal via Generative Priors [37.46753287881341]
  トレーニングデータなしで肖像画の影を除去するための最初の教師なし手法を提案する。 私たちのキーとなるアイデアは、既成のStyleGAN2に埋め込まれた生成的な顔の事前情報を活用することです。 私たちのアプローチは、ポートレートタトゥーの削除や透かしの除去にも適用できます。
  論文  参考訳（メタデータ） (2021-08-07T15:09:36Z)
• Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
  陰影除去のための新しい深層学習法を提案する。 影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。 最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
  論文  参考訳（メタデータ） (2020-12-23T23:06:38Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)
• Self-Supervised Shadow Removal [130.6657167667636]
  条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。 既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
  論文  参考訳（メタデータ） (2020-10-22T11:33:41Z)
• Single image reflection removal via learning with multi-image constraints [50.54095311597466]
  本稿では、上記のアプローチの利点を組み合わせ、その欠点を克服する新しい学習ベースソリューションを提案する。 提案アルゴリズムはディープニューラルネットワークを学習して、複数の入力画像間で強化されたジョイント制約でターゲットを最適化する。 我々のアルゴリズムは実画像上でリアルタイムかつ最先端の反射除去性能で動作する。
  論文  参考訳（メタデータ） (2019-12-08T06:10:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。