論文の概要: CRFormer: A Cross-Region Transformer for Shadow Removal
- arxiv url: http://arxiv.org/abs/2207.01600v1
- Date: Mon, 4 Jul 2022 17:33:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 15:08:20.520570
- Title: CRFormer: A Cross-Region Transformer for Shadow Removal
- Title（参考訳）: CRFormer:シャドウ除去のためのクロスリージョントランス
- Authors: Jin Wan and Hui Yin and Zhenyao Wu and Xinyi Wu and Zhihao Liu and
Song Wang
- Abstract要約: 影除去のための新しいクロスリージョントランス、CRFormerを提案する。
これは、慎重に設計された地域対応のクロスアテンション操作によって実現される。
ISTD, AISTD, SRD, およびビデオシャドウ除去データセットの実験により, 本手法の優位性を実証した。
- 参考スコア（独自算出の注目度）: 27.67680052355886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aiming to restore the original intensity of shadow regions in an image and
make them compatible with the remaining non-shadow regions without a trace,
shadow removal is a very challenging problem that benefits many downstream
image/video-related tasks. Recently, transformers have shown their strong
capability in various applications by capturing global pixel interactions and
this capability is highly desirable in shadow removal. However, applying
transformers to promote shadow removal is non-trivial for the following two
reasons: 1) The patchify operation is not suitable for shadow removal due to
irregular shadow shapes; 2) shadow removal only needs one-way interaction from
the non-shadow region to the shadow region instead of the common two-way
interactions among all pixels in the image. In this paper, we propose a novel
cross-region transformer, namely CRFormer, for shadow removal which differs
from existing transformers by only considering the pixel interactions from the
non-shadow region to the shadow region without splitting images into patches.
This is achieved by a carefully designed region-aware cross-attention operation
that can aggregate the recovered shadow region features conditioned on the
non-shadow region features. Extensive experiments on ISTD, AISTD, SRD, and
Video Shadow Removal datasets demonstrate the superiority of our method
compared to other state-of-the-art methods.
- Abstract（参考訳）: 画像中の元の影領域の強度を復元し、トレースなしで残りの非影領域と互換性を持たせることを目的として、シャドー除去は、多くの下流画像/ビデオ関連タスクの恩恵を受ける非常に難しい問題である。
近年,グローバルなピクセル間相互作用を捉えることで,様々な応用においてその強みを示しており,影除去には非常に望ましい。
しかし、影除去を促進するためにトランスを施すことは、以下の2つの理由から自明ではない。
1) パッチ化操作は,不規則な影形状のため,影除去に適さない。
2)影除去は画像中の全画素間の共通な双方向相互作用ではなく,非陰影領域から影領域への片方向相互作用のみを必要とする。
本稿では,非陰影領域から影領域への画素相互作用をパッチに分割することなく考慮し,既存の変圧器と異なる影除去のための新しいクロスリージョン変換器であるCRFormerを提案する。
これは、非シャドー領域の特徴に基づいて回復したシャドウ領域の特徴を集約できる、注意深く設計された領域対応のクロスアテンション操作によって達成される。
ISTD, AISTD, SRD, およびビデオシャドウ除去データセットの大規模な実験により, 他の最先端手法と比較して, 提案手法の優位性を示した。
関連論文リスト
- Single-Image Shadow Removal Using Deep Learning: A Comprehensive Survey [78.84004293081631]
影のパターンは任意で変化しており、しばしば非常に複雑な痕跡構造を持つ。
影による劣化は空間的に不均一であり、照度と影と非陰影領域間の色に矛盾が生じている。
この分野での最近の開発は、主にディープラーニングベースのソリューションによって進められている。
論文 参考訳（メタデータ） (2024-07-11T20:58:38Z) - Cross-Modal Spherical Aggregation for Weakly Supervised Remote Sensing Shadow Removal [22.4845448174729]
本研究では,S2-ShadowNetと呼ばれる球面特徴空間を持つ弱教師付きシャドウ除去ネットワークを提案する。
具体的には、クロスドメインマッピングを学習するために、モーダル変換(可視赤外)モデルを使用し、現実的な赤外線サンプルを生成する。
シャドウマスクを用いた4000個のシャドウ画像を含む,大規模に監督されたシャドウ除去ベンチマークに寄与する。
論文 参考訳（メタデータ） (2024-06-25T11:14:09Z) - Learning Restoration is Not Enough: Transfering Identical Mapping for
Single-Image Shadow Removal [19.391619888009064]
最先端のシャドウ除去方法は、収集されたシャドウとシャドウフリーの画像ペアでディープニューラルネットワークを訓練する。
2つのタスクは互換性が低く、これらの2つのタスクの共有重み付けを使用することで、モデルが1つのタスクに最適化される可能性がある。
本稿では,これら2つのタスクを個別に処理し,同一のマッピング結果を利用して,影の復元を反復的に導くことを提案する。
論文 参考訳（メタデータ） (2023-05-18T01:36:23Z) - ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。
そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。
グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。
本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
論文 参考訳（メタデータ） (2023-02-03T10:54:52Z) - Shadow Removal by High-Quality Shadow Synthesis [78.56549207362863]
HQSSでは、擬似画像を合成するためにシャドウ機能エンコーダとジェネレータを使用している。
HQSSは、ISTDデータセット、ビデオシャドウ除去データセット、SRDデータセットの最先端メソッドよりも優れたパフォーマンスを発揮する。
論文 参考訳（メタデータ） (2022-12-08T06:52:52Z) - ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document
Shadow Removal [53.01990632289937]
本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。
シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
論文 参考訳（メタデータ） (2022-11-30T01:46:29Z) - DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT Similarity [54.831083157152136]
本稿では,適応的注意とViT類似性に基づいて,ハード,ソフト,セルフシャドーを除去する手法を提案する。
提案手法はSRD, AISTD, LRSS, USR, UIUCデータセットの最先端手法より優れている。
論文 参考訳（メタデータ） (2022-11-15T12:15:29Z) - SpA-Former: Transformer image shadow detection and removal via spatial
attention [8.643096072885909]
シャドウフリー画像を単一の陰影画像から復元するエンド・ツー・エンドのSpA-Formerを提案する。
シャドー検出とシャドー除去の2つのステップを必要とする従来の方法とは異なり、SpA-Formerはこれらのステップを1つに統合する。
論文 参考訳（メタデータ） (2022-06-22T08:30:22Z) - Shadow-Aware Dynamic Convolution for Shadow Removal [80.82708225269684]
シャドウ領域と非シャドウ領域間の相互依存を分離するための新しいシャドウ・アウェア・ダイナミック・コンボリューション(SADC)モジュールを提案する。
我々のSADCは、非シャドウ領域の色マッピングが学習しやすいという事実に触発され、軽量な畳み込みモジュールで非シャドウ領域を処理する。
我々は,非シャドウ地域からシャドウ地域への情報フローを強化するために,新しいコンボリューション内蒸留損失を開発した。
論文 参考訳（メタデータ） (2022-05-10T14:00:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。