論文の概要: HAT: Hybrid Attention Transformer for Image Restoration

• arxiv url: http://arxiv.org/abs/2309.05239v2
• Date: Sun, 17 Nov 2024 03:28:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:30.453869
• Title: HAT: Hybrid Attention Transformer for Image Restoration
• Title（参考訳）: HAT:画像復元用ハイブリッドアテンショントランス
• Authors: Xiangyu Chen, Xintao Wang, Wenlong Zhang, Xiangtao Kong, Yu Qiao, Jiantao Zhou, Chao Dong,
• Abstract要約: トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
• 参考スコア（独自算出の注目度）: 61.74223315807691
• License:
• Abstract: Transformer-based methods have shown impressive performance in image restoration tasks, such as image super-resolution and denoising. However, we find that these networks can only utilize a limited spatial range of input information through attribution analysis. This implies that the potential of Transformer is still not fully exploited in existing networks. In order to activate more input pixels for better restoration, we propose a new Hybrid Attention Transformer (HAT). It combines both channel attention and window-based self-attention schemes, thus making use of their complementary advantages. Moreover, to better aggregate the cross-window information, we introduce an overlapping cross-attention module to enhance the interaction between neighboring window features. In the training stage, we additionally adopt a same-task pre-training strategy to further exploit the potential of the model for further improvement. Extensive experiments have demonstrated the effectiveness of the proposed modules. We further scale up the model to show that the performance of the SR task can be greatly improved. Besides, we extend HAT to more image restoration applications, including real-world image super-resolution, Gaussian image denoising and image compression artifacts reduction. Experiments on benchmark and real-world datasets demonstrate that our HAT achieves state-of-the-art performance both quantitatively and qualitatively. Codes and models are publicly available at https://github.com/XPixelGroup/HAT.
• Abstract（参考訳）: トランスフォーマーに基づく手法は、画像の超解像やデノナイジングのような画像復元タスクにおいて顕著な性能を示している。 しかし,これらのネットワークは属性解析によって限られた空間範囲の入力情報しか利用できないことがわかった。 このことは、Transformerのポテンシャルが既存のネットワークで完全に活用されていないことを意味している。 そこで本研究では,新たなHAT(Hybrid Attention Transformer)を提案する。 チャネルアテンションとウィンドウベースの自己アテンションスキームを組み合わせることで、相補的なアドバンテージを活用できる。 さらに,クロスウィンドウ情報をよりよく集約するために,隣接するウィンドウ特徴間の相互作用を強化するために,重なり合うクロスアテンションモジュールを導入する。 トレーニング段階では、モデルの可能性をさらに活用し、さらなる改善を図るために、同じタスク事前学習戦略を採用する。 大規模な実験により提案したモジュールの有効性が実証された。 さらに、SRタスクの性能を大幅に改善できることを示すため、モデルをさらにスケールアップする。 さらに,HATを,現実画像の超解像,ガウス画像の復調,画像圧縮アーティファクトの低減など,より多くの画像復元アプリケーションに拡張する。 ベンチマークと実世界のデータセットを用いた実験により、HATは定量的かつ定性的に最先端のパフォーマンスを達成することが示された。 コードとモデルはhttps://github.com/XPixelGroup/HAT.comで公開されている。

関連論文リスト

• Look-Around Before You Leap: High-Frequency Injected Transformer for Image Restoration [46.96362010335177]
  本稿では,画像復元のための簡易かつ効果的な高周波インジェクト変換器HITを提案する。 具体的には,機能マップに高頻度の詳細を組み込んだウィンドウワイドインジェクションモジュール(WIM)を設計し,高品質な画像の復元のための信頼性の高い参照を提供する。 さらに,BIMにおけるチャネル次元の計算によって失われる可能性のある空間的関係を維持するために,空間拡張ユニット(SEU)を導入する。
  論文  参考訳（メタデータ） (2024-03-30T08:05:00Z)
• How Powerful Potential of Attention on Image Restoration? [97.9777639562205]
  FFNを使わずに注意機構の可能性を探るため,実験的検討を行った。 本研究では,FFNを使わずに3段階にわたって注意を連続的に計算する連続スケーリング注意法(textbfCSAttn)を提案する。 我々の設計は、注意機構をよく調べ、いくつかの単純な操作がモデルの性能に大きく影響することを明らかにする。
  論文  参考訳（メタデータ） (2024-03-15T14:23:12Z)
• Learning Image Deraining Transformer Network with Dynamic Dual Self-Attention [46.11162082219387]
  本稿では,動的二重自己アテンション(DDSA)を用いた画像デコライニング変換器を提案する。 具体的には、トップk近似計算に基づいて、最も有用な類似度値のみを選択し、スパースアテンションを実現する。 また,高品質な定位結果を得るためのより正確な表現を実現するために,新しい空間拡張フィードフォワードネットワーク(SEFN)を開発した。
  論文  参考訳（メタデータ） (2023-08-15T13:59:47Z)
• Learning A Sparse Transformer Network for Effective Image Deraining [42.01684644627124]
  有効デレインネットワークであるスパーストランス(DRSformer)を提案する。 学習可能なトップk選択演算子を開発し、各クエリのキーから最も重要な注意点を適応的に保持し、より優れた機能アグリゲーションを実現する。 我々は,協調改良デライン方式を示すために,専門家による特徴補償器を混合したモデルを開発した。
  論文  参考訳（メタデータ） (2023-03-21T15:41:57Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• Activating More Pixels in Image Super-Resolution Transformer [53.87533738125943]
  トランスフォーマーベースの手法は、画像超解像のような低レベルの視覚タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 提案手法は1dB以上で最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-05-09T17:36:58Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。