論文の概要: How Powerful Potential of Attention on Image Restoration?

• arxiv url: http://arxiv.org/abs/2403.10336v1
• Date: Fri, 15 Mar 2024 14:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 16:51:41.561779
• Title: How Powerful Potential of Attention on Image Restoration?
• Title（参考訳）: 画像復元における注意力の可能性
• Authors: Cong Wang, Jinshan Pan, Yeying Jin, Liyan Wang, Wei Wang, Gang Fu, Wenqi Ren, Xiaochun Cao,
• Abstract要約: FFNを使わずに注意機構の可能性を探るため,実験的検討を行った。 本研究では,FFNを使わずに3段階にわたって注意を連続的に計算する連続スケーリング注意法(textbfCSAttn)を提案する。 我々の設計は、注意機構をよく調べ、いくつかの単純な操作がモデルの性能に大きく影響することを明らかにする。
• 参考スコア（独自算出の注目度）: 97.9777639562205
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Transformers have demonstrated their effectiveness in image restoration tasks. Existing Transformer architectures typically comprise two essential components: multi-head self-attention and feed-forward network (FFN). The former captures long-range pixel dependencies, while the latter enables the model to learn complex patterns and relationships in the data. Previous studies have demonstrated that FFNs are key-value memories \cite{geva2020transformer}, which are vital in modern Transformer architectures. In this paper, we conduct an empirical study to explore the potential of attention mechanisms without using FFN and provide novel structures to demonstrate that removing FFN is flexible for image restoration. Specifically, we propose Continuous Scaling Attention (\textbf{CSAttn}), a method that computes attention continuously in three stages without using FFN. To achieve competitive performance, we propose a series of key components within the attention. Our designs provide a closer look at the attention mechanism and reveal that some simple operations can significantly affect the model performance. We apply our \textbf{CSAttn} to several image restoration tasks and show that our model can outperform CNN-based and Transformer-based image restoration approaches.
• Abstract（参考訳）: トランスフォーマーは、画像復元タスクにおいて、その効果を実証している。 既存のトランスフォーマーアーキテクチャは通常、マルチヘッド自己注意とフィードフォワードネットワーク(FFN)という2つの重要なコンポーネントから構成される。 前者は長距離画素依存をキャプチャし、後者はモデルがデータの複雑なパターンや関係を学習できるようにする。 以前の研究では、FFNはキーバリューメモリ \cite{geva2020transformer} であることが示されており、現代のトランスフォーマーアーキテクチャにおいて不可欠である。 本稿では,FFNを使わずに注意機構の可能性を探るための実証的研究を行い,FFNの除去が画像復元に柔軟であることを示す新しい構造を提供する。 具体的には,FFNを使わずに3段階にわたって注意を連続的に計算する手法である連続スケーリング注意(\textbf{CSAttn})を提案する。 競争性能を達成するために,注目すべき重要な要素のシリーズを提案する。 我々の設計は、注意機構をよく調べ、いくつかの単純な操作がモデルの性能に大きく影響することを明らかにする。 いくつかの画像復元タスクに対して,我々の \textbf{CSAttn} を適用し,我々のモデルが CNN と Transformer をベースとした画像復元手法より優れていることを示す。

関連論文リスト

• IPT-V2: Efficient Image Processing Transformer using Hierarchical Attentions [26.09373405194564]
  我々は,IPTV2と呼ばれる階層的な注意を払って,効率的な画像処理トランスフォーマアーキテクチャを提案する。 我々は、局所的およびグローバルな受容領域における適切なトークン相互作用を得るために、焦点コンテキスト自己注意(FCSA)とグローバルグリッド自己注意(GGSA)を採用する。 提案した IPT-V2 は,様々な画像処理タスクにおいて,デノナイズ,デブロアリング,デコライニングを網羅し,従来の手法よりも性能と計算の複雑さのトレードオフを得る。
  論文  参考訳（メタデータ） (2024-03-31T10:01:20Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• HAT: Hybrid Attention Transformer for Image Restoration [61.74223315807691]
  トランスフォーマーに基づく手法は、画像の超解像や復調といった画像復元タスクにおいて顕著な性能を示している。 本稿では,新たなHAT(Hybrid Attention Transformer)を提案する。 我々のHATは,定量的かつ定性的に,最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-09-11T05:17:55Z)
• Learning A Sparse Transformer Network for Effective Image Deraining [42.01684644627124]
  有効デレインネットワークであるスパーストランス(DRSformer)を提案する。 学習可能なトップk選択演算子を開発し、各クエリのキーから最も重要な注意点を適応的に保持し、より優れた機能アグリゲーションを実現する。 我々は,協調改良デライン方式を示すために,専門家による特徴補償器を混合したモデルを開発した。
  論文  参考訳（メタデータ） (2023-03-21T15:41:57Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。