論文の概要: Auto-Exposure Fusion for Single-Image Shadow Removal
- arxiv url: http://arxiv.org/abs/2103.01255v1
- Date: Mon, 1 Mar 2021 19:09:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 16:30:23.707567
- Title: Auto-Exposure Fusion for Single-Image Shadow Removal
- Title（参考訳）: シングルイメージシャドウ除去のための自動露光融合
- Authors: Lan Fu, Changqing Zhou, Qing Guo, Felix Juefei-Xu, Hongkai Yu, Wei
Feng, Yang Liu, Song Wang
- Abstract要約: シャドウ除去は、固有の背景依存性と空間変動特性のために、まだ困難な作業です。
最先端のディープニューラルネットワークでさえ、トレースレスのシャドウ除去された背景をほとんど回復できない。
本論文では, 課題解決のために, 露光融合問題として定式化することで, 新たなソリューションを提案する。
- 参考スコア（独自算出の注目度）: 23.178329688546032
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Shadow removal is still a challenging task due to its inherent
background-dependent and spatial-variant properties, leading to unknown and
diverse shadow patterns. Even powerful state-of-the-art deep neural networks
could hardly recover traceless shadow-removed background. This paper proposes a
new solution for this task by formulating it as an exposure fusion problem to
address the challenges. Intuitively, we can first estimate multiple
over-exposure images w.r.t. the input image to let the shadow regions in these
images have the same color with shadow-free areas in the input image. Then, we
fuse the original input with the over-exposure images to generate the final
shadow-free counterpart. Nevertheless, the spatial-variant property of the
shadow requires the fusion to be sufficiently `smart', that is, it should
automatically select proper over-exposure pixels from different images to make
the final output natural. To address this challenge, we propose the {\bf
shadow-aware FusionNet} that takes the shadow image as input to generate fusion
weight maps across all the over-exposure images. Moreover, we propose the {\bf
boundary-aware RefineNet} to eliminate the remaining shadow trace further. We
conduct extensive experiments on the ISTD, ISTD+, and SRD datasets to validate
our method's effectiveness and show better performance in shadow regions and
comparable performance in non-shadow regions over the state-of-the-art methods.
We release the model and code in
https://github.com/tsingqguo/exposure-fusion-shadow-removal.
- Abstract（参考訳）: シャドウ除去は、その固有の背景依存性と空間変動特性のために、未知で多様なシャドウパターンにつながる、まだ困難な作業です。
最先端のディープニューラルネットワークでさえ、トレースレスのシャドウ除去された背景をほとんど回復できない。
本稿では,これらの課題に対処するため,露光融合問題として定式化して新しい解法を提案する。
直感的には、まず複数の過剰露光画像 w.r.t を推定できる。
これらの画像の影領域が入力画像の影のない領域と同じ色を持つようにするための入力画像。
そして、元の入力をオーバー露光画像と融合し、最終的なシャドウフリー画像を生成する。
それでも、シャドーの空間的不変性は、融合が十分に「スマート」である必要があり、すなわち、最終的な出力を自然なものにするために、異なる画像から適切なオーバー露光ピクセルを自動的に選択する必要がある。
この課題に対処するため,我々は,影画像を入力として全露光画像の融合重みマップを生成する,"bf shadow-aware fusionnet} を提案する。
さらに, 残りの影跡を更に排除するために, {\bf boundary-aware refinenet} を提案する。
我々はISTD, ISTD+, SRDデータセットの広範な実験を行い, 提案手法の有効性を検証し, シャドー領域における性能と非シャドウ領域における非シャドウ領域における同等の性能を示す。
モデルとコードをhttps://github.com/tsingqguo/exposure-fusion-shadow-removalでリリースします。
関連論文リスト
- Shadow Removal Refinement via Material-Consistent Shadow Edges [33.8383848078524]
同じ材料で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。
画像セグメンテーション基盤モデルであるSAMを微調整し、影不変セグメンテーションを生成し、材料一貫性のあるシャドウエッジを抽出する。
本手法は,より難易度の高い画像に対して,影除去結果の改善に有効であることを示す。
論文 参考訳（メタデータ） (2024-09-10T20:16:28Z) - Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - Leveraging Inpainting for Single-Image Shadow Removal [29.679542372017373]
本研究では,画像インペイントデータセットにおける影除去ネットワークの事前学習により,影の残差を著しく低減できることを示す。
単純エンコーダ・デコーダネットワークは、10%のシャドウとシャドウフリーの画像ペアで、最先端の手法で競合する復元品質を得る。
これらの観測から着想を得て,影の除去と画像の塗装を両立させる適応融合タスクとして,影の除去を定式化する。
論文 参考訳（メタデータ） (2023-02-10T16:21:07Z) - ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳（メタデータ） (2023-02-03T10:54:52Z) - Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。
HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
論文 参考訳（メタデータ） (2022-12-08T06:52:52Z) - DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT Similarity [54.831083157152136]
本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。
提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
論文 参考訳（メタデータ） (2022-11-15T12:15:29Z) - SpA-Former: Transformer image shadow detection and removal via spatial
attention [8.643096072885909]
シャドウフリー画像を単一の陰影画像から復元するエンド・ツー・エンドのSpA-Formerを提案する。
シャドー検出とシャドー除去の2つのステップを必要とする従来の方法とは異なり、SpA-Formerはこれらのステップを1つに統合する。
論文 参考訳（メタデータ） (2022-06-22T08:30:22Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳（メタデータ） (2022-05-10T14:00:48Z) - R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。
本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。
提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文 参考訳（メタデータ） (2021-09-20T15:09:22Z) - Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
陰影除去のための新しい深層学習法を提案する。
影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。
最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
論文 参考訳（メタデータ） (2020-12-23T23:06:38Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳（メタデータ） (2020-10-22T11:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。