論文の概要: Diving Deep into Regions: Exploiting Regional Information Transformer
for Single Image Deraining
- arxiv url: http://arxiv.org/abs/2402.16033v1
- Date: Sun, 25 Feb 2024 09:09:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 15:42:25.593479
- Title: Diving Deep into Regions: Exploiting Regional Information Transformer
for Single Image Deraining
- Title(参考訳): 地域への潜入:地域情報トランスフォーマによる単一画像レーダ化
- Authors: Baiang Li, Zhao Zhang, Huan Zheng, Xiaogang Xu, Yanyan Wei, Jingyi
Zhang, Jicong Fan and Meng Wang
- Abstract要約: Region Transformer Block (RTB) は Region Masked Attention (RMA) 機構と Mixed Gate Forward Block (MGFB) を統合している
我々のモデルは最先端の性能に到達し、画像劣化の品質を著しく向上させる。
- 参考スコア(独自算出の注目度): 42.72715866295803
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Transformer-based Single Image Deraining (SID) methods have achieved
remarkable success, primarily attributed to their robust capability in
capturing long-range interactions. However, we've noticed that current methods
handle rain-affected and unaffected regions concurrently, overlooking the
disparities between these areas, resulting in confusion between rain streaks
and background parts, and inabilities to obtain effective interactions,
ultimately resulting in suboptimal deraining outcomes. To address the above
issue, we introduce the Region Transformer (Regformer), a novel SID method that
underlines the importance of independently processing rain-affected and
unaffected regions while considering their combined impact for high-quality
image reconstruction. The crux of our method is the innovative Region
Transformer Block (RTB), which integrates a Region Masked Attention (RMA)
mechanism and a Mixed Gate Forward Block (MGFB). Our RTB is used for attention
selection of rain-affected and unaffected regions and local modeling of mixed
scales. The RMA generates attention maps tailored to these two regions and
their interactions, enabling our model to capture comprehensive features
essential for rain removal. To better recover high-frequency textures and
capture more local details, we develop the MGFB as a compensation module to
complete local mixed scale modeling. Extensive experiments demonstrate that our
model reaches state-of-the-art performance, significantly improving the image
deraining quality. Our code and trained models are publicly available.
- Abstract(参考訳): トランスフォーマーをベースとしたSID(Single Image Deraining)手法は、長距離インタラクションをキャプチャする堅牢な能力によって、大きな成功を収めている。
しかし,現在の手法では,雨害・無影響地域を同時に扱うことができ,これらの地域間の格差を見越して,雨害と背景部分の混同が生じ,効果的な相互作用が得られず,結果として,最適下地食の結果がもたらされることに気付いた。
そこで,本研究では,高画質画像再構成のインパクトを考慮しつつ,雨害領域と無害領域を独立的に処理することの重要性を強調する新しいsid手法である地域トランスフォーマー(regformer)を提案する。
提案手法の要点は、RMA機構とMGFB(Mixed Gate Forward Block)を統合した、革新的なRegional Transformer Block(RTB)である。
我々のRTBは、雨の影響を受けていない地域の注意選択と混合スケールの局所的モデリングに利用されている。
RMAはこれらの2つの地域とその相互作用に合わせてアテンションマップを生成し,雨の除去に不可欠な包括的特徴を抽出する。
高周波テクスチャを回復し,より局所的な詳細を捉えるため,MGFBを補償モジュールとして開発し,局所混合スケールモデルを完成させる。
広範な実験により,我々のモデルが最先端の性能に到達できることが証明された。
私たちのコードとトレーニングされたモデルは公開されています。
関連論文リスト
- Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining [47.15857899099733]
高品質な画像再構成を実現するために,エンド・ツー・エンドのマルチスケールトランスを開発した。
クローズドループ設計において、劣化した入力を持つ画素座標に基づいて、スケール内の暗黙的ニューラル表現を組み込む。
我々のアプローチはNeRD-Rainと呼ばれ、合成および実世界のベンチマークデータセットにおいて最先端のアプローチに対して好意的に実行されます。
論文 参考訳(メタデータ) (2024-04-02T01:18:16Z) - Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。
具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。
さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
論文 参考訳(メタデータ) (2024-03-30T08:05:00Z) - Gabor-guided transformer for single image deraining [2.330361251490783]
単一画像デライニングのためのGabor-Guided tranformer(Gabformer)を提案する。
Gaborフィルタによって処理された情報をクエリベクトルに組み込むことにより、ローカルテクスチャ機能へのフォーカスが強化される。
我々の手法は最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-03-12T07:41:51Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳(メタデータ) (2023-12-12T06:07:21Z) - Out-of-domain GAN inversion via Invertibility Decomposition for
Photo-Realistic Human Face Manipulation [22.71398343370642]
そこで我々は,新しいモジュールを設計することで,人間の顔の逆転の忠実度を高める新しいフレームワークを提案する。
従来の手法とは異なり、我々の可逆検出器は空間アライメントモジュールで同時に学習される。
本手法は実世界の人間の顔画像の逆転と操作のための実測結果を生成する。
論文 参考訳(メタデータ) (2022-12-19T06:16:58Z) - Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。
降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。
提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
論文 参考訳(メタデータ) (2022-07-21T12:50:54Z) - From Rain Generation to Rain Removal [67.71728610434698]
雨層を生成物としてパラメータ化した雨画像のためのベイズ生成モデルを構築した。
降雨画像の統計的分布を推定するために,変分推論の枠組みを用いる。
総合的な実験により,提案モデルが複雑な降雨分布を忠実に抽出できることが確認された。
論文 参考訳(メタデータ) (2020-08-08T18:56:51Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。