論文の概要: Exploiting Regional Information Transformer for Single Image Deraining

• arxiv url: http://arxiv.org/abs/2402.16033v2
• Date: Sun, 4 Aug 2024 17:37:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 23:36:13.546309
• Title: Exploiting Regional Information Transformer for Single Image Deraining
• Title（参考訳）: 単一画像レイニングのための地域情報変換器の試作
• Authors: Baiang Li, Zhao Zhang, Huan Zheng, Xiaogang Xu, Yanyan Wei, Jingyi Zhang, Jicong Fan, Meng Wang,
• Abstract要約: Region Transformer Block (RTB) は Region Masked Attention (RMA) 機構と Mixed Gate Forward Block (MGFB) を統合している 我々のモデルは最先端の性能に到達し、画像劣化の品質を著しく向上させる。
• 参考スコア（独自算出の注目度）: 40.96287901893822
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Transformer-based Single Image Deraining (SID) methods have achieved remarkable success, primarily attributed to their robust capability in capturing long-range interactions. However, we've noticed that current methods handle rain-affected and unaffected regions concurrently, overlooking the disparities between these areas, resulting in confusion between rain streaks and background parts, and inabilities to obtain effective interactions, ultimately resulting in suboptimal deraining outcomes. To address the above issue, we introduce the Region Transformer (Regformer), a novel SID method that underlines the importance of independently processing rain-affected and unaffected regions while considering their combined impact for high-quality image reconstruction. The crux of our method is the innovative Region Transformer Block (RTB), which integrates a Region Masked Attention (RMA) mechanism and a Mixed Gate Forward Block (MGFB). Our RTB is used for attention selection of rain-affected and unaffected regions and local modeling of mixed scales. The RMA generates attention maps tailored to these two regions and their interactions, enabling our model to capture comprehensive features essential for rain removal. To better recover high-frequency textures and capture more local details, we develop the MGFB as a compensation module to complete local mixed scale modeling. Extensive experiments demonstrate that our model reaches state-of-the-art performance, significantly improving the image deraining quality. Our code and trained models are publicly available.
• Abstract（参考訳）: トランスフォーマーをベースとしたSID(Single Image Deraining)手法は、長距離インタラクションをキャプチャする堅牢な能力に起因して、大きな成功を収めている。 しかし,現在の手法では,雨害・無影響地域を同時に扱うことができ,これらの地域間の格差を見越して,雨害と背景部分の混同が生じ,効果的な相互作用が得られず,結果として,最適下地食の結果がもたらされることに気付いた。 以上の課題に対処するため,高画質画像再構成における影響を考慮しつつ,降雨・無影響領域を独立に処理することの重要性を浮き彫りにする新しいSID手法であるRegformer(Regformer)を導入する。 提案手法の要点は、RMA機構とMGFB(Mixed Gate Forward Block)を統合した、革新的なRegional Transformer Block(RTB)である。 我々のRTBは、雨の影響を受けていない地域の注意選択と混合スケールの局所的モデリングに利用されている。 RMAはこれらの2つの地域とその相互作用に合わせてアテンションマップを生成し,雨の除去に不可欠な包括的特徴を抽出する。 高周波テクスチャを回復し,より局所的な詳細を捉えるため,MGFBを補償モジュールとして開発し,局所混合スケールモデルを完成させる。 大規模な実験により、我々のモデルは最先端の性能に到達し、画像の劣化品質を著しく改善することが示された。 私たちのコードとトレーニングされたモデルは公開されています。

関連論文リスト

• Region Attention Transformer for Medical Image Restoration [16.33261165253018]
  領域ベースマルチヘッド自己注意機構(R-MSA)を利用した新しい領域注意変換器(RAT)を提案する。 RATは、ロバストなセグメンション・アシング・モデル(SAM)を用いて、入力画像を非重複セマンティック領域に分割する この領域はより柔軟で解釈可能であり、類似のセマンティック領域のピクセルのみが互いに補完し、無関係な領域からの干渉を排除している。 PET画像合成,CT画像デノイング,病理画像超解像など,様々な医用画像復元作業におけるRATの有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-07-12T13:52:05Z)
• Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
  PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。 本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
  論文  参考訳（メタデータ） (2024-07-10T19:58:04Z)
• Image Deraining with Frequency-Enhanced State Space Model [2.9465623430708905]
  本研究では,画像デライニングによる画像デライニングにSSMを導入し,DFSSM(Deraining Frequency-Enhanced State Space Model)を提案する。 我々は,複数のカーネルサイズを持つ畳み込みを用いて,様々なスケールの劣化を効果的に捕捉する,新しい混合スケールゲート畳み込みブロックを開発した。 合成および実世界の雨天画像データセットの実験により,我々の手法が最先端の手法を超越していることが判明した。
  論文  参考訳（メタデータ） (2024-05-26T07:45:12Z)
• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• Gabor-guided transformer for single image deraining [2.330361251490783]
  単一画像デライニングのためのGabor-Guided tranformer(Gabformer)を提案する。 Gaborフィルタによって処理された情報をクエリベクトルに組み込むことにより、ローカルテクスチャ機能へのフォーカスが強化される。 我々の手法は最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-03-12T07:41:51Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。