論文の概要: ShadowFormer: Global Context Helps Image Shadow Removal

• arxiv url: http://arxiv.org/abs/2302.01650v1
• Date: Fri, 3 Feb 2023 10:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 16:35:35.132354
• Title: ShadowFormer: Global Context Helps Image Shadow Removal
• Title（参考訳）: ShadowFormer: 画像のシャドウ除去を支援するグローバルコンテキスト
• Authors: Lanqing Guo, Siyu Huang, Ding Liu, Hao Cheng, Bihan Wen
• Abstract要約: シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。 そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。 グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。 本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
• 参考スコア（独自算出の注目度）: 41.742799378751364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent deep learning methods have achieved promising results in image shadow removal. However, most of the existing approaches focus on working locally within shadow and non-shadow regions, resulting in severe artifacts around the shadow boundaries as well as inconsistent illumination between shadow and non-shadow regions. It is still challenging for the deep shadow removal model to exploit the global contextual correlation between shadow and non-shadow regions. In this work, we first propose a Retinex-based shadow model, from which we derive a novel transformer-based network, dubbed ShandowFormer, to exploit non-shadow regions to help shadow region restoration. A multi-scale channel attention framework is employed to hierarchically capture the global information. Based on that, we propose a Shadow-Interaction Module (SIM) with Shadow-Interaction Attention (SIA) in the bottleneck stage to effectively model the context correlation between shadow and non-shadow regions. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to evaluate the proposed method. Our method achieves state-of-the-art performance by using up to 150X fewer model parameters.
• Abstract（参考訳）: 近年の深層学習法は画像の影除去において有望な成果を上げている。 しかし、既存のアプローチのほとんどは、影領域と非陰影領域の局所的な作業に重点を置いており、その結果、影境界周辺の深刻な人工物と、陰影領域と非陰影領域との間の矛盾した照明が生じる。 シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用したディープシャドウ除去モデルは依然として困難である。 本研究では,まず,ShandowFormerと呼ばれる新しいトランスフォーマーネットワークを設計し,非シャドウ領域を有効利用して影領域の復元を支援するRetinexベースのシャドウモデルを提案する。 グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。 そこで本研究では,シャドウ領域と非シャドウ領域のコンテキスト相関を効果的にモデル化するために,シャドウ相互作用に着目したシャドウ相互作用モジュール (sim) を提案する。 提案手法を評価するために, ISTD, ISTD+, SRDの3つのパブリックデータセットについて広範な実験を行った。 提案手法は,最大150倍少ないモデルパラメータを用いて,最先端の性能を実現する。

関連論文リスト

• ShadowMamba: State-Space Model with Boundary-Region Selective Scan for Shadow Removal [3.5734732877967392]
  本稿では境界領域選択走査と呼ばれる新しい選択的走査法を提案する。 私たちのモデルであるShadowMambaは、シャドウ除去のための最初のMambaベースのモデルです。
  論文  参考訳（メタデータ） (2024-11-05T16:59:06Z)
• Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
  影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。 影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。 この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
  論文  参考訳（メタデータ） (2024-07-11T20:58:38Z)
• Delving into Dark Regions for Robust Shadow Detection [47.60700654394781]
  最先端のディープメソッドは、暗黒領域の非シャドウピクセルとシャドウピクセルを区別する際のエラー率が高い傾向にある。 そこで我々は,まず画像全体を通してグローバルな文脈的手がかりを学習し,次に暗黒領域に拡大して局所的な影表現を学習する,新しいシャドウ検出手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T09:07:07Z)
• Learning Restoration is Not Enough: Transfering Identical Mapping for Single-Image Shadow Removal [19.391619888009064]
  最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。 2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。 本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
  論文  参考訳（メタデータ） (2023-05-18T01:36:23Z)
• Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
  HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。 HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
  論文  参考訳（メタデータ） (2022-12-08T06:52:52Z)
• ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document Shadow Removal [53.01990632289937]
  本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。 シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
  論文  参考訳（メタデータ） (2022-11-30T01:46:29Z)
• CNSNet: A Cleanness-Navigated-Shadow Network for Shadow Removal [4.951051823391577]
  シャドウマスクをベースとした,シャドウ指向適応正規化(SOAN)モジュールとトランスフォーマー(SAAT)モジュールを用いたシャドウ対応アグリゲーションを提案する。 シャドウマスクのガイダンスの下で、SOANモジュールは非シャドウ領域の統計を定式化し、それらを領域的な復元のためにシャドウ領域に適応的に適用する。 SAATモジュールは、シャドウフリー領域から高関連性の高い画素を考慮し、シャドウマスクを用いて各シャドウ画素の復元を正確にガイドする。
  論文  参考訳（メタデータ） (2022-09-06T01:33:38Z)
• CRFormer: A Cross-Region Transformer for Shadow Removal [27.67680052355886]
  影除去のための新しいクロスリージョントランス、CRFormerを提案する。 これは、慎重に設計された地域対応のクロスアテンション操作によって実現される。 ISTD, AISTD, SRD, およびビデオシャドウ除去データセットの実験により, 本手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-07-04T17:33:02Z)
• Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
  シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。 我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。 我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
  論文  参考訳（メタデータ） (2022-05-10T14:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。