論文の概要: Learning Restoration is Not Enough: Transfering Identical Mapping for Single-Image Shadow Removal

• arxiv url: http://arxiv.org/abs/2305.10640v1
• Date: Thu, 18 May 2023 01:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 17:30:08.480021
• Title: Learning Restoration is Not Enough: Transfering Identical Mapping for Single-Image Shadow Removal
• Title（参考訳）: 学習再建は不十分: 単画像シャドウ除去のための Identical Mapping の転送
• Authors: Xiaoguang Li, Qing Guo, Pingping Cai, Wei Feng, Ivor Tsang, Song Wang
• Abstract要約: 最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。 2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。 本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
• 参考スコア（独自算出の注目度）: 19.391619888009064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Shadow removal is to restore shadow regions to their shadow-free counterparts while leaving non-shadow regions unchanged. State-of-the-art shadow removal methods train deep neural networks on collected shadow & shadow-free image pairs, which are desired to complete two distinct tasks via shared weights, i.e., data restoration for shadow regions and identical mapping for non-shadow regions. We find that these two tasks exhibit poor compatibility, and using shared weights for these two tasks could lead to the model being optimized towards only one task instead of both during the training process. Note that such a key issue is not identified by existing deep learning-based shadow removal methods. To address this problem, we propose to handle these two tasks separately and leverage the identical mapping results to guide the shadow restoration in an iterative manner. Specifically, our method consists of three components: an identical mapping branch (IMB) for non-shadow regions processing, an iterative de-shadow branch (IDB) for shadow regions restoration based on identical results, and a smart aggregation block (SAB). The IMB aims to reconstruct an image that is identical to the input one, which can benefit the restoration of the non-shadow regions without explicitly distinguishing between shadow and non-shadow regions. Utilizing the multi-scale features extracted by the IMB, the IDB can effectively transfer information from non-shadow regions to shadow regions progressively, facilitating the process of shadow removal. The SAB is designed to adaptive integrate features from both IMB and IDB. Moreover, it generates a finely tuned soft shadow mask that guides the process of removing shadows. Extensive experiments demonstrate our method outperforms all the state-of-the-art shadow removal approaches on the widely used shadow removal datasets.
• Abstract（参考訳）: シャドウ除去は、シャドウのない領域をそのまま残しながらシャドウのない領域に復元することである。 最先端のシャドウ除去方法は、収集されたシャドウとシャドウのないイメージペアでディープニューラルネットワークを訓練するが、これは共有ウェイト、すなわちシャドウ領域のデータ復元と非シャドウ領域の同一マッピングによって、2つの異なるタスクを完了させることが望まれる。 これらの2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、トレーニングプロセス中に両方ではなく1つのタスクに最適化される可能性がある。 このような重要な問題は、既存のディープラーニングベースのシャドウ除去手法では特定されていない。 この問題に対処するために,これら2つのタスクを別々に処理し,同一のマッピング結果を利用して影の復元を反復的に導くことを提案する。 具体的には,非陰影領域処理のための同一マッピングブランチ (IMB) と,同一結果に基づく影領域復元のための反復デシャドウブランチ (IDB) と,スマートアグリゲーションブロック (SAB) の3つのコンポーネントからなる。 IMBは、シャドウ領域と非シャドウ領域を明確に区別することなく、非シャドウ領域の復元に役立つ入力画像と同一の画像の再構成を目指している。 IMBが抽出したマルチスケール機能を利用することで、IDBは非シャドウ領域からシャドウ領域へ情報を効果的に転送し、シャドウ除去のプロセスを容易にする。 SAB は IMB と IDB の両方の機能を適応的に統合するように設計されている。 さらに、微調整されたソフトシャドウマスクを生成し、シャドウを除去するプロセスを導く。 広範な実験により,本手法は広く使用されているシャドウ除去データセットにおける最先端シャドウ除去手法に勝ることを示した。

関連論文リスト

• Shadow Removal Refinement via Material-Consistent Shadow Edges [33.8383848078524]
  同じ材料で領域を横断する影の縁の両側には、影を適切に取り除けば、原色とテクスチャは同一であるべきである。 画像セグメンテーション基盤モデルであるSAMを微調整し、影不変セグメンテーションを生成し、材料一貫性のあるシャドウエッジを抽出する。 本手法は,より難易度の高い画像に対して,影除去結果の改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-09-10T20:16:28Z)
• Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
  影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。 影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。 この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
  論文  参考訳（メタデータ） (2024-07-11T20:58:38Z)
• Progressive Recurrent Network for Shadow Removal [99.1928825224358]
  シングルイメージのシャドー削除は、まだ解決されていない重要なタスクである。 既存のディープラーニングベースのアプローチのほとんどは、シャドウを直接削除しようとするが、シャドウをうまく扱えない。 本稿では,影を段階的に除去する簡易かつ効果的なプログレッシブ・リカレント・ネットワーク(PRNet)を提案する。
  論文  参考訳（メタデータ） (2023-11-01T11:42:45Z)
• ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
  シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。 そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。 グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。 本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
  論文  参考訳（メタデータ） (2023-02-03T10:54:52Z)
• Structure-Informed Shadow Removal Networks [67.57092870994029]
  既存のディープラーニングベースのシャドウ除去手法は、依然として影の残像を持つ画像を生成する。 本稿では,影残差問題に対処するために,画像構造情報を活用する構造インフォームド・シャドウ除去ネットワーク(StructNet)を提案する。 我々の手法は既存のシャドウ除去方法よりも優れており、StructNetは既存の手法と統合してさらに改善することができる。
  論文  参考訳（メタデータ） (2023-01-09T06:31:52Z)
• Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
  HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。 HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
  論文  参考訳（メタデータ） (2022-12-08T06:52:52Z)
• CRFormer: A Cross-Region Transformer for Shadow Removal [27.67680052355886]
  影除去のための新しいクロスリージョントランス、CRFormerを提案する。 これは、慎重に設計された地域対応のクロスアテンション操作によって実現される。 ISTD, AISTD, SRD, およびビデオシャドウ除去データセットの実験により, 本手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-07-04T17:33:02Z)
• SpA-Former: Transformer image shadow detection and removal via spatial attention [8.643096072885909]
  シャドウフリー画像を単一の陰影画像から復元するエンド・ツー・エンドのSpA-Formerを提案する。 シャドー検出とシャドー除去の2つのステップを必要とする従来の方法とは異なり、SpA-Formerはこれらのステップを1つに統合する。
  論文  参考訳（メタデータ） (2022-06-22T08:30:22Z)
• Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
  シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。 我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。 我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
  論文  参考訳（メタデータ） (2022-05-10T14:00:48Z)
• Self-Supervised Shadow Removal [130.6657167667636]
  条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。 既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
  論文  参考訳（メタデータ） (2020-10-22T11:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。