論文の概要: Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal
- arxiv url: http://arxiv.org/abs/2408.03734v1
- Date: Wed, 7 Aug 2024 12:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 13:04:22.992788
- Title: Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal
- Title（参考訳）: マルチスケール画像シャドウ除去のためのソフトハードアテンションU-Netモデルとベンチマークデータセット
- Authors: Eirini Cholopoulou, Dimitrios E. Diamantis, Dimitra-Christina C. Koutsiou, Dimitris K. Iakovidis,
- Abstract要約: 本研究では,マルチスケールシャドウ除去に着目した,ソフトハード注意U-net(SHAU)という新しいディープラーニングアーキテクチャを提案する。
マルチスケールシャドウ除去データセット(MSRD)と呼ばれる新しい合成データセットを提供し、複数のスケールの複雑なシャドウパターンを含んでいる。
その結果,SHAUは,様々なベンチマークデータセット間で,関連する最先端のシャドウ除去方法に対して有効であることが示された。
- 参考スコア（独自算出の注目度）: 2.999888908665659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effective shadow removal is pivotal in enhancing the visual quality of images in various applications, ranging from computer vision to digital photography. During the last decades physics and machine learning -based methodologies have been proposed; however, most of them have limited capacity in capturing complex shadow patterns due to restrictive model assumptions, neglecting the fact that shadows usually appear at different scales. Also, current datasets used for benchmarking shadow removal are composed of a limited number of images with simple scenes containing mainly uniform shadows cast by single objects, whereas only a few of them include both manual shadow annotations and paired shadow-free images. Aiming to address all these limitations in the context of natural scene imaging, including urban environments with complex scenes, the contribution of this study is twofold: a) it proposes a novel deep learning architecture, named Soft-Hard Attention U-net (SHAU), focusing on multiscale shadow removal; b) it provides a novel synthetic dataset, named Multiscale Shadow Removal Dataset (MSRD), containing complex shadow patterns of multiple scales, aiming to serve as a privacy-preserving dataset for a more comprehensive benchmarking of future shadow removal methodologies. Key architectural components of SHAU are the soft and hard attention modules, which along with multiscale feature extraction blocks enable effective shadow removal of different scales and intensities. The results demonstrate the effectiveness of SHAU over the relevant state-of-the-art shadow removal methods across various benchmark datasets, improving the Peak Signal-to-Noise Ratio and Root Mean Square Error for the shadow area by 25.1% and 61.3%, respectively.
- Abstract（参考訳）: 効果的なシャドウ除去は、コンピュータビジョンからデジタル写真まで、様々なアプリケーションにおける画像の視覚的品質を高める上で重要である。
過去数十年間、物理学と機械学習に基づく方法論が提案されてきたが、その多くは制限的なモデル仮定によって複雑な影パターンを捉える能力に制限があり、通常、影が異なるスケールで現れるという事実を無視している。
また、現在のシャドウ除去のベンチマークに使われるデータセットは、単一のオブジェクトがキャストする均一なシャドウを含む単純なシーンを持つ限られた数の画像で構成されているが、手動シャドウアノテーションとペアのシャドウフリーイメージの両方を含むものはほとんどない。
複雑なシーンを持つ都市環境を含む、自然景観画像の文脈におけるこれらの制限に対処するために、本研究の貢献は2つある。
a) マルチスケールシャドウ除去に焦点を当てた,ソフトハード注意U-net(SHAU)という,新たなディープラーニングアーキテクチャを提案する。
b) マルチスケールシャドウ除去データセット(MSRD)と呼ばれる新しい合成データセットを提供し、複数のスケールの複雑なシャドウパターンを含み、将来のシャドウ除去手法のより包括的なベンチマークのためのプライバシー保護データセットとして機能することを目指している。
SHAUの主要なアーキテクチャコンポーネントは、ソフトとハードの注意モジュールであり、マルチスケールの特徴抽出ブロックとともに、異なるスケールと強度の効果的なシャドウ除去を可能にする。
その結果、様々なベンチマークデータセット間での最先端のシャドウ除去手法に対するSHAUの有効性を示し、シャドウ領域のピーク信号対ノイズ比とルート平均角誤差をそれぞれ25.1%と61.3%改善した。
関連論文リスト
- ShadowMamba: State-Space Model with Boundary-Region Selective Scan for Shadow Removal [3.5734732877967392]
本稿では境界領域選択走査と呼ばれる新しい選択的走査法を提案する。
私たちのモデルであるShadowMambaは、シャドウ除去のための最初のMambaベースのモデルです。
論文 参考訳（メタデータ） (2024-11-05T16:59:06Z) - Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - Deshadow-Anything: When Segment Anything Model Meets Zero-shot shadow
removal [8.555176637147648]
画像シャドー除去を実現するために,大規模データセットの一般化を考慮したDeshadow-Anythingを開発した。
拡散モデルは画像の端やテクスチャに沿って拡散し、画像の詳細を保存しながら影を取り除くのに役立つ。
シャドウ除去タスクの実験では、これらの手法が画像復元性能を効果的に向上できることが示されている。
論文 参考訳（メタデータ） (2023-09-21T01:35:13Z) - SDDNet: Style-guided Dual-layer Disentanglement Network for Shadow
Detection [85.16141353762445]
入力シャドウ画像を背景層と影層の合成として扱い、これらの層を独立にモデル化するためのスタイル誘導デュアル層ディスタングルネットワークを設計する。
提案モデルは背景色による有害な効果を効果的に最小化し,32FPSのリアルタイム推論速度を持つ3つの公開データセットに対して優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-17T12:10:51Z) - Learning Restoration is Not Enough: Transfering Identical Mapping for
Single-Image Shadow Removal [19.391619888009064]
最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。
2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。
本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
論文 参考訳（メタデータ） (2023-05-18T01:36:23Z) - ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳（メタデータ） (2023-02-03T10:54:52Z) - Structure-Informed Shadow Removal Networks [67.57092870994029]
既存のディープラーニングベースのシャドウ除去手法は、依然として影の残像を持つ画像を生成する。
本稿では,影残差問題に対処するために,画像構造情報を活用する構造インフォームド・シャドウ除去ネットワーク(StructNet)を提案する。
我々の手法は既存のシャドウ除去方法よりも優れており、StructNetは既存の手法と統合してさらに改善することができる。
論文 参考訳（メタデータ） (2023-01-09T06:31:52Z) - ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document
Shadow Removal [53.01990632289937]
本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。
シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
論文 参考訳（メタデータ） (2022-11-30T01:46:29Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳（メタデータ） (2022-05-10T14:00:48Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳（メタデータ） (2020-10-22T11:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。