論文の概要: ShadowMaskFormer: Mask Augmented Patch Embeddings for Shadow Removal

• arxiv url: http://arxiv.org/abs/2404.18433v2
• Date: Tue, 30 Apr 2024 15:42:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 12:57:01.983418
• Title: ShadowMaskFormer: Mask Augmented Patch Embeddings for Shadow Removal
• Title（参考訳）: ShadowMaskFormer: シャドウ除去のためのマスク拡張パッチ埋め込み
• Authors: Zhuohao Li, Guoyang Xie, Guannan Jiang, Zhichao Lu,
• Abstract要約: そこで我々はShadowMaskFormerと呼ばれるシャドー除去に適した新しいパッチ埋め込みを備えたトランスフォーマーベースのフレームワークを提案する。 具体的には、シャドウ情報を統合し、シャドウ領域の知識獲得にモデルが重点を置くことを促進するための、シンプルで効果的なマスク拡張パッチ埋め込みを提案する。
• 参考スコア（独自算出の注目度）: 13.983288991595614
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transformer recently emerged as the de facto model for computer vision tasks and has also been successfully applied to shadow removal. However, these existing methods heavily rely on intricate modifications to the attention mechanisms within the transformer blocks while using a generic patch embedding. As a result, it often leads to complex architectural designs requiring additional computation resources. In this work, we aim to explore the efficacy of incorporating shadow information within the early processing stage. Accordingly, we propose a transformer-based framework with a novel patch embedding that is tailored for shadow removal, dubbed ShadowMaskFormer. Specifically, we present a simple and effective mask-augmented patch embedding to integrate shadow information and promote the model's emphasis on acquiring knowledge for shadow regions. Extensive experiments conducted on the ISTD, ISTD+, and SRD benchmark datasets demonstrate the efficacy of our method against state-of-the-art approaches while using fewer model parameters.
• Abstract（参考訳）: Transformerは最近、コンピュータビジョンタスクのデファクトモデルとして登場し、シャドー除去にも成功している。 しかし、これらの既存手法は、汎用的なパッチ埋め込みを使用しながら、トランスフォーマーブロック内の注意機構の複雑な変更に大きく依存している。 結果として、計算リソースの追加を必要とする複雑なアーキテクチャ設計につながることが多い。 本研究では,初期処理段階における影情報の導入の有効性について検討する。 そこで我々はShadowMaskFormerと呼ばれるシャドー除去に適した新しいパッチ埋め込みを備えたトランスフォーマーベースのフレームワークを提案する。 具体的には、シャドウ情報を統合し、シャドウ領域の知識獲得にモデルが重点を置くことを促進するための、シンプルで効果的なマスク拡張パッチ埋め込みを提案する。 ISTD, ISTD+, SRDベンチマークを用いて, より少ないモデルパラメータを用いて, 最先端手法に対する本手法の有効性を実証した。

関連論文リスト

• SoftShadow: Leveraging Penumbra-Aware Soft Masks for Shadow Removal [35.16957947180504]
  シャドウ除去に特化して設計された新しいソフトシャドウマスクを導入する。 このようなソフトマスクを実現するために,事前学習されたSAMの事前知識を活用したtextitSoftShadowフレームワークを提案する。 このフレームワークは、端から端までのシャドウ除去を同時に容易にしながら、ペナムブラ(部分陰影領域)とウンブラ(完全に陰影領域)の正確な予測を可能にする。
  論文  参考訳（メタデータ） (2024-09-11T06:12:26Z)
• SwinShadow: Shifted Window for Ambiguous Adjacent Shadow Detection [90.4751446041017]
  スウィンシャドウ(SwinShadow)は、隣接する影を検出するための強力なシフトウインドウ機構をフル活用したトランスフォーマーベースのアーキテクチャである。 プロセス全体は、エンコーダ、デコーダ、機能統合の3つの部分に分けられる。 SBU, UCF, ISTDの3つのシャドウ検出ベンチマークデータセットの実験により, ネットワークがバランスエラー率(BER)の点で優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-08-07T03:16:33Z)
• Latent Feature-Guided Diffusion Models for Shadow Removal [50.02857194218859]
  本稿では,拡散過程における影領域の詳細を段階的に洗練する,有望なアプローチとして拡散モデルの利用を提案する。 シャドウフリー画像の特徴を継承する学習された潜在特徴空間を条件付けすることで,この処理を改善する。 AISTDデータセット上でRMSEを13%向上させる手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-12-04T18:59:55Z)
• ShaDocFormer: A Shadow-Attentive Threshold Detector With Cascaded Fusion Refiner for Document Shadow Removal [26.15238399758745]
  本稿では,文書陰影除去の問題に対処するために,従来の手法とディープラーニング技術を統合したTransformerベースのアーキテクチャを提案する。 ShaDocFormerアーキテクチャは、Shadow-attentive Threshold Detector (STD)とCascaded Fusion Refiner (CFR)の2つのコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2023-09-13T02:15:29Z)
• ShadowFormer: Global Context Helps Image Shadow Removal [41.742799378751364]
  シャドウ領域と非シャドウ領域のグローバルな文脈的相関を利用して、ディープシャドウ除去モデルを構築することは依然として困難である。 そこで我々はまず、ShandowFormerと呼ばれる新しいトランスフォーマーベースのネットワークを導出するRetinexベースのシャドウモデルを提案する。 グローバル情報を階層的にキャプチャするために,マルチスケールチャネルアテンションフレームワークが使用される。 本稿では,影と非陰影領域のコンテキスト相関を効果的にモデル化するために,影の相互作用を考慮したSIM(Shadow-Interaction Module)を提案する。
  論文  参考訳（メタデータ） (2023-02-03T10:54:52Z)
• ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal [74.86415440438051]
  画像と劣化先行情報を統合した統合拡散フレームワークを提案する。 SRDデータセット上でのPSNRは31.69dBから34.73dBへと大幅に向上した。
  論文  参考訳（メタデータ） (2022-12-09T07:48:30Z)
• ShaDocNet: Learning Spatial-Aware Tokens in Transformer for Document Shadow Removal [53.01990632289937]
  本稿では,文書陰影除去のためのトランスフォーマーモデルを提案する。 シャドウとシャドウフリーの両方の領域で、シャドウコンテキストエンコーディングとデコードを使用する。
  論文  参考訳（メタデータ） (2022-11-30T01:46:29Z)
• CNSNet: A Cleanness-Navigated-Shadow Network for Shadow Removal [4.951051823391577]
  シャドウマスクをベースとした,シャドウ指向適応正規化(SOAN)モジュールとトランスフォーマー(SAAT)モジュールを用いたシャドウ対応アグリゲーションを提案する。 シャドウマスクのガイダンスの下で、SOANモジュールは非シャドウ領域の統計を定式化し、それらを領域的な復元のためにシャドウ領域に適応的に適用する。 SAATモジュールは、シャドウフリー領域から高関連性の高い画素を考慮し、シャドウマスクを用いて各シャドウ画素の復元を正確にガイドする。
  論文  参考訳（メタデータ） (2022-09-06T01:33:38Z)
• MAT: Mask-Aware Transformer for Large Hole Image Inpainting [79.67039090195527]
  本稿では, 変圧器と畳み込みの利点を統一する, 大穴塗装の新しいモデルを提案する。 実験では、複数のベンチマークデータセット上で、新しいモデルの最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-29T06:36:17Z)
• Self-Supervised Shadow Removal [130.6657167667636]
  条件付きマスクを用いた自己教師付き学習による教師なしシングルイメージシャドウ除去ソリューションを提案する。 既存の文献とは対照的に、一対のシャドウとシャドウのない画像は必要とせず、自己スーパービジョンに頼り、画像にシャドウを取り除いて追加するために深いモデルを共同で学習する。
  論文  参考訳（メタデータ） (2020-10-22T11:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。