論文の概要: ShadowRefiner: Towards Mask-free Shadow Removal via Fast Fourier Transformer
- arxiv url: http://arxiv.org/abs/2406.02559v1
- Date: Thu, 18 Apr 2024 03:53:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 08:19:53.615751
- Title: ShadowRefiner: Towards Mask-free Shadow Removal via Fast Fourier Transformer
- Title（参考訳）: ShadowRefiner:Fast Fourier Transformerでマスクなしのシャドウ除去を目指す
- Authors: Wei Dong, Han Zhou, Yuqiong Tian, Jingke Sun, Xiaohong Liu, Guangtao Zhai, Jun Chen,
- Abstract要約: 影に影響された画像は、しばしば色と照明の空間的な違いが顕著に現れる。
我々はFast Fourier Transformerを介してマスクレスシャドウ除去・精細ネットワーク(ShadowRefiner)を導入する。
本手法は,NTIRE 2024画像シャドウ除去チャレンジのフィデリティトラックにおいて,第2位を達成し,パーセプチュアルトラックのタイトルを獲得した。
- 参考スコア（独自算出の注目度）: 41.008740643546226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Shadow-affected images often exhibit pronounced spatial discrepancies in color and illumination, consequently degrading various vision applications including object detection and segmentation systems. To effectively eliminate shadows in real-world images while preserving intricate details and producing visually compelling outcomes, we introduce a mask-free Shadow Removal and Refinement network (ShadowRefiner) via Fast Fourier Transformer. Specifically, the Shadow Removal module in our method aims to establish effective mappings between shadow-affected and shadow-free images via spatial and frequency representation learning. To mitigate the pixel misalignment and further improve the image quality, we propose a novel Fast-Fourier Attention based Transformer (FFAT) architecture, where an innovative attention mechanism is designed for meticulous refinement. Our method wins the championship in the Perceptual Track and achieves the second best performance in the Fidelity Track of NTIRE 2024 Image Shadow Removal Challenge. Besides, comprehensive experiment result also demonstrate the compelling effectiveness of our proposed method. The code is publicly available: https://github.com/movingforward100/Shadow_R.
- Abstract（参考訳）: 影に影響された画像は、しばしば色と照明の空間的な違いが顕著に示され、その結果、オブジェクト検出やセグメンテーションシステムを含む様々な視覚的応用が劣化する。
複雑な詳細を保存し、視覚的に説得力のある結果を生み出すことで、現実画像の影を効果的に除去するために、Fast Fourier Transformerを介してマスクフリーのシャドー除去・リファインメントネットワーク(ShadowRefiner)を導入する。
具体的には、空間的および周波数的表現学習により、影の影響を受けない画像と影のない画像との効果的なマッピングを確立することを目的としている。
画素の不整合を緩和し、画像品質をさらに向上させるため、新しいFast-Fourier Attention Based Transformer(FFAT)アーキテクチャを提案する。
本手法は,NTIRE 2024画像シャドウ除去チャレンジのフィデリティトラックにおいて,第2位を達成し,パーセプチュアルトラックのタイトルを獲得した。
さらに,本手法の有効性を示す総合実験を行った。
コードは、https://github.com/movingforward100/Shadow_R.comで公開されている。
関連論文リスト
- Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - Cross-Modal Spherical Aggregation for Weakly Supervised Remote Sensing Shadow Removal [22.4845448174729]
本研究では,S2-ShadowNetと呼ばれる球面特徴空間を持つ弱教師付きシャドウ除去ネットワークを提案する。
具体的には、クロスドメインマッピングを学習するために、モーダル変換(可視赤外)モデルを使用し、現実的な赤外線サンプルを生成する。
シャドウマスクを用いた4000個のシャドウ画像を含む,大規模に監督されたシャドウ除去ベンチマークに寄与する。
論文 参考訳（メタデータ） (2024-06-25T11:14:09Z) - ShadowRemovalNet: Efficient Real-Time Shadow Removal [3.0516727053033392]
ShadowRemovalNetは、リソース制約のあるハードウェア上でリアルタイム画像処理を行う新しい方法である。
既存の手法に比べてフレームレートが大幅に向上する。
推論中に別のシャドウマスクを必要としない。
論文 参考訳（メタデータ） (2024-03-13T00:04:07Z) - Progressive Recurrent Network for Shadow Removal [99.1928825224358]
シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。
既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。
本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
論文 参考訳（メタデータ） (2023-11-01T11:42:45Z) - Leveraging Inpainting for Single-Image Shadow Removal [29.679542372017373]
本研究では,画像インペイントデータセットにおける影除去ネットワークの事前学習により,影の残差を著しく低減できることを示す。
単純エンコーダ・デコーダネットワークは、10%のシャドウとシャドウフリーの画像ペアで、最先端の手法で競合する復元品質を得る。
これらの観測から着想を得て,影の除去と画像の塗装を両立させる適応融合タスクとして,影の除去を定式化する。
論文 参考訳（メタデータ） (2023-02-10T16:21:07Z) - ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document
Shadow Removal [53.01990632289937]
本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。
シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
論文 参考訳（メタデータ） (2022-11-30T01:46:29Z) - R2D: Learning Shadow Removal to Enhance Fine-Context Shadow Detection [64.10636296274168]
現在のシャドウ検出方法は、小さく、不明瞭で、ぼやけたエッジを持つシャドウ領域を検出する際には、性能が良くない。
本稿では,深層ニューラルネットワークを修復訓練(シャドウ除去)するRestore to Detect(R2D)という新しい手法を提案する。
提案手法は,近年の手法に比べて微妙なコンテキストの検出が可能でありながら,影検出性能の向上を図っている。
論文 参考訳（メタデータ） (2021-09-20T15:09:22Z) - Physics-based Shadow Image Decomposition for Shadow Removal [36.41558227710456]
陰影除去のための新しい深層学習法を提案する。
影形成の物理モデルにインスパイアされ、線形照明変換を用いて画像内の影効果をモデル化する。
最も困難なシャドウ除去データセットでフレームワークをトレーニングし、テストします。
論文 参考訳（メタデータ） (2020-12-23T23:06:38Z) - Self-Supervised Shadow Removal [130.6657167667636]
条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。
既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
論文 参考訳（メタデータ） (2020-10-22T11:33:41Z) - From Shadow Segmentation to Shadow Removal [34.762493656937366]
シャドウとシャドウフリーの画像のペアの必要性は、シャドウ除去データセットのサイズと多様性を制限している。
本研究では,影画像から抽出した陰影と非陰影パッチのみを用いて,陰影除去法を提案する。
論文 参考訳（メタデータ） (2020-08-01T14:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。