論文の概要: Attention in Attention Network for Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2104.09497v1
• Date: Mon, 19 Apr 2021 17:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 13:45:02.324196
• Title: Attention in Attention Network for Image Super-Resolution
• Title（参考訳）: 画像超解像に対する注意ネットワークの注意
• Authors: Haoyu Chen, Jinjin Gu, Zhi Zhang
• Abstract要約: 静的な注意メカニズムを定量化し、視覚化し、すべての注意モジュールが等しく有益ではないことを示します。 高精度な画像SRのために注目ネットワーク(A$2$N)への注目を提案します。 我々のモデルは最先端の軽量ネットワークと比較して優れたトレードオフ性能を実現することができる。
• 参考スコア（独自算出の注目度）: 18.2279472158217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks have allowed remarkable advances in single image super-resolution (SISR) over the last decade. Among recent advances in SISR, attention mechanisms are crucial for high performance SR models. However, few works really discuss why attention works and how it works. In this work, we attempt to quantify and visualize the static attention mechanisms and show that not all attention modules are equally beneficial. We then propose attention in attention network (A$^2$N) for highly accurate image SR. Specifically, our A$^2$N consists of a non-attention branch and a coupling attention branch. Attention dropout module is proposed to generate dynamic attention weights for these two branches based on input features that can suppress unwanted attention adjustments. This allows attention modules to specialize to beneficial examples without otherwise penalties and thus greatly improve the capacity of the attention network with little parameter overhead. Experiments have demonstrated that our model could achieve superior trade-off performances comparing with state-of-the-art lightweight networks. Experiments on local attribution maps also prove attention in attention (A$^2$) structure can extract features from a wider range.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、過去10年間でシングルイメージスーパーレゾリューション(sisr)の著しい進歩をもたらした。 SISRの最近の進歩の中で、高性能SRモデルには注意機構が不可欠である。 しかし、注意がなぜ機能するのか、どのように機能するのかを真に議論する作品はほとんどない。 本研究では,静的注意機構の定量化と可視化を行い,すべての注意モジュールが等しく有益ではないことを示す。 次に,高精細画像srに対して注意注意ネットワーク (a$^2$n) を提案する。 具体的には、A$^2$Nは非注意枝と結合注意枝からなる。 意図しない注意調整を抑えることができる入力特徴に基づいて、これらの2つの分岐に対して動的注意重みを生成するために、注意降下モジュールを提案する。 これにより、アテンションモジュールはペナルティを伴わずに有益な例に特化でき、パラメータのオーバーヘッドが少ないアテンションネットワークの容量を大幅に改善できる。 実験により、我々のモデルは最先端の軽量ネットワークと比較して優れたトレードオフ性能が得られることが示された。 局所帰属写像の実験も注意を惹きつける(A$^2$)構造はより広い範囲から特徴を引き出すことができる。

関連論文リスト

• CiaoSR: Continuous Implicit Attention-in-Attention Network for Arbitrary-Scale Image Super-Resolution [158.2282163651066]
  本稿ではCiaoSRと呼ばれる連続的な暗黙の注意-注意ネットワークを提案する。 我々は、周辺地域の特徴のアンサンブル重みを学習するために、暗黙の注意ネットワークを明示的に設計する。 我々は、この暗黙の注意ネットワークにスケールアウェアの注意を埋め込んで、追加の非ローカル情報を活用する。
  論文  参考訳（メタデータ） (2022-12-08T15:57:46Z)
• Efficient Image Super-Resolution using Vast-Receptive-Field Attention [49.87316814164699]
  注意機構は、高度な超解像(SR)ネットワークの設計において重要な役割を果たす。 本研究では,アテンション機構の改善により,効率的なSRネットワークを設計する。 VAst-receptive-field Pixel attention networkであるVapSRを提案する。
  論文  参考訳（メタデータ） (2022-10-12T07:01:00Z)
• Switchable Self-attention Module [3.8992324495848356]
  自己注意モジュールSEMを提案する。 SEMは、アテンションモジュールと代替アテンション演算子の入力情報に基づいて、自動的にアテンション演算子を選択し、統合してアテンションマップを計算することができる。 SEMの有効性は、広く使われているベンチマークデータセットと一般的な自己注意ネットワークに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2022-09-13T01:19:38Z)
• Self-Supervised Implicit Attention: Guided Attention by The Model Itself [1.3406858660972554]
  我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。 SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。 私たちの実装はGitHubで公開されます。
  論文  参考訳（メタデータ） (2022-06-15T10:13:34Z)
• Visual Attention Network [90.0753726786985]
  本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。 また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-02-20T06:35:18Z)
• Learning to ignore: rethinking attention in CNNs [87.01305532842878]
  我々は,CNNの注意機構を再構築し,出席する学習ではなく無視することを学ぶことを提案する。 具体的には、シーン内で無関係な情報を明示的に学習し、生成した表現でそれを抑えることを提案する。
  論文  参考訳（メタデータ） (2021-11-10T13:47:37Z)
• Coordinate Attention for Efficient Mobile Network Design [96.40415345942186]
  チャネルの注目に位置情報を埋め込むことにより,モバイルネットワークに対する新たな注意メカニズムを提案する。 2次元グローバルプーリングにより特徴テンソルを単一特徴ベクトルに変換するチャネルアテンションとは異なり、座標アテンションはチャネルアテンションを2つの1次元特徴符号化プロセスに分解する。 座標の注意はImageNetの分類に有用であり、オブジェクト検出やセマンティックセグメンテーションといった下流タスクではよりうまく振る舞う。
  論文  参考訳（メタデータ） (2021-03-04T09:18:02Z)
• Unlocking Pixels for Reinforcement Learning via Implicit Attention [61.666538764049854]
  我々は最近,トランスフォーマーに非常に有効であることが示されている,新しい効率的なアテンションアルゴリズムを利用している。 これにより、注意に基づくコントローラは、より大きな視覚入力にスケールでき、より小さなパッチの使用が容易になります。 さらに,ソフトマックスの注目度をハイブリッドランダム特徴量で近似するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T17:00:26Z)
• Efficient Attention Network: Accelerate Attention by Searching Where to Plug [11.616720452770322]
  本稿では,既存のアテンションモジュールの効率を改善するために,EAN(Efficient Attention Network)というフレームワークを提案する。 EANでは、共有メカニズムを活用して、バックボーン内のアテンションモジュールを共有し、強化学習を通じて共有アテンションモジュールを接続する場所を探索する。 広く使われているベンチマークと一般的な注意ネットワークの実験は、EANの有効性を示している。
  論文  参考訳（メタデータ） (2020-11-28T03:31:08Z)
• Attention-Guided Network for Iris Presentation Attack Detection [13.875545441867137]
  本稿では注意誘導型アイリス提示攻撃検出(AG-PAD)を提案する。 JHU-APLプロプライエタリデータセットとベンチマークのLivDet-Iris-2017データセットの両方を含む実験は、提案手法が有望な結果をもたらすことを示唆している。
  論文  参考訳（メタデータ） (2020-10-23T19:23:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。