Fugu-MT 論文翻訳(概要): EAANet: Efficient Attention Augmented Convolutional Networks

論文の概要: EAANet: Efficient Attention Augmented Convolutional Networks

arxiv url: http://arxiv.org/abs/2206.01821v1
Date: Fri, 3 Jun 2022 21:22:12 GMT
ステータス: 処理完了
システム内更新日: 2022-06-07 16:27:01.442297
Title: EAANet: Efficient Attention Augmented Convolutional Networks
Title（参考訳）: eaanet:効率的な注意強化畳み込みネットワーク
Authors: Runqing Zhang, Tianshu Zhu
Abstract要約: EAANet: 効率的な注意強化畳み込みネットワークを提案する。モデルのメモリフットプリントを削減するために、畳み込みと自己アテンションハイブリッドアーキテクチャに効率的な自己アテンション機構を組み込む。 EAANetは高解像度の画像を扱う能力が高いことを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Humans can effectively find salient regions in complex scenes. Self-attention mechanisms were introduced into Computer Vision (CV) to achieve this. Attention Augmented Convolutional Network (AANet) is a mixture of convolution and self-attention, which increases the accuracy of a typical ResNet. However, The complexity of self-attention is O(n2) in terms of computation and memory usage with respect to the number of input tokens. In this project, we propose EAANet: Efficient Attention Augmented Convolutional Networks, which incorporates efficient self-attention mechanisms in a convolution and self-attention hybrid architecture to reduce the model's memory footprint. Our best model show performance improvement over AA-Net and ResNet18. We also explore different methods to augment Convolutional Network with self-attention mechanisms and show the difficulty of training those methods compared to ResNet. Finally, we show that augmenting efficient self-attention mechanisms with ResNet scales better with input size than normal self-attention mechanisms. Therefore, our EAANet is more capable of working with high-resolution images.
Abstract（参考訳）: 人間は複雑な場面で健全な領域を効果的に見つけることができる。自己注意機構をコンピュータビジョン(CV)に導入して実現した。 Attention Augmented Convolutional Network (AANet)は、畳み込みと自己アテンションの混合であり、典型的なResNetの精度を高める。しかし、自己注意の複雑さは、入力トークンの数に関する計算とメモリ使用量の観点から O(n2) である。本稿では,eaanet: efficient attention augmented convolutional networkを提案する。これは,コンボリューションと自己アテンションのハイブリッドアーキテクチャに効率的な自己アテンション機構を組み込んで,モデルのメモリフットプリントを削減する。我々の最良のモデルは、AA-NetとResNet18の性能改善を示す。また,畳み込みネットワークを自己着脱機構で強化する様々な手法を検討し,resnetと比較し,その訓練の難しさを示す。最後に,ResNetによる効率的な自己認識機構の強化は,通常の自己認識機構よりも入力サイズに優れることを示す。したがって、eaanetは高解像度の画像を扱うことができる。

関連論文リスト

iiANET: Inception Inspired Attention Hybrid Network for efficient Long-Range Dependency [0.0]
iiANET(Inception Inspired Attention Network)は,複雑な画像の長距離依存性を捉えるために設計された,効率的なハイブリッドモデルである。基本的なビルディングブロックであるiiABlockはグローバル2D-MHSA(Multi-Head Self-Attention)をレジスタ、MBConv2(MobileNetV2ベースの畳み込み)、拡張畳み込みを並列に統合する。各iABlockの終端にECANET(Efficient Channel Attention Network)を連続的に統合し、チャネルワイドアテンションを校正し、モデル性能を向上させる。
論文参考訳（メタデータ） (2024-07-10T12:39:02Z)
Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks [22.66931446718083]
Gated Attention Coding (GAC) は、多次元アテンションユニットを利用して入力を効率よく強力な表現にエンコードするプラグイン・アンド・プレイモジュールである。 GACは、SNNのスパイク駆動特性を損なわない前処理層として機能する。 CIFAR10/100とImageNetデータセットの実験では、GACが最先端の精度を目覚ましい効率で達成していることが示されている。
論文参考訳（メタデータ） (2023-08-12T14:42:02Z)
Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
論文参考訳（メタデータ） (2023-06-16T18:29:26Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
Efficient Image Super-Resolution using Vast-Receptive-Field Attention [49.87316814164699]
注意機構は、高度な超解像(SR)ネットワークの設計において重要な役割を果たす。本研究では,アテンション機構の改善により,効率的なSRネットワークを設計する。 VAst-receptive-field Pixel attention networkであるVapSRを提案する。
論文参考訳（メタデータ） (2022-10-12T07:01:00Z)
Spikformer: When Spiking Neural Network Meets Transformer [102.91330530210037]
本稿では,スパイキングニューラルネットワーク(SNN)と自己認識機構という,生物学的にもっとも有効な2つの構造について考察する。我々は、スパイキング・セルフ・アテンション(SSA)と、スパイキング・トランスフォーマー(Spikformer)という強力なフレームワークを提案する。
論文参考訳（メタデータ） (2022-09-29T14:16:49Z)
Self-Supervised Implicit Attention: Guided Attention by The Model Itself [1.3406858660972554]
我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。 SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。私たちの実装はGitHubで公開されます。
論文参考訳（メタデータ） (2022-06-15T10:13:34Z)
Visual Attention Network [90.0753726786985]
本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-02-20T06:35:18Z)
TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in CNNs [18.24779045808196]
本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
論文参考訳（メタデータ） (2021-11-26T12:35:17Z)
Multi-stage Attention ResU-Net for Semantic Segmentation of Fine-Resolution Remote Sensing Images [9.398340832493457]
この問題に対処するための線形注意機構(LAM)を提案する。 LAMは、計算効率の高いドット積アテンションとほぼ同値である。微細なリモートセンシング画像からのセマンティックセグメンテーションのためのマルチステージアテンションResU-Netを設計する。
論文参考訳（メタデータ） (2020-11-29T07:24:21Z)
Memory Aggregation Networks for Efficient Interactive Video Object Segmentation [75.35173388837852]
インタラクティブなビデオオブジェクトセグメンテーション(iVOS)は、ユーザインタラクションを備えたビデオにおいて、ターゲットオブジェクトの高品質なセグメンテーションマスクを効率よく回収することを目的としている。これまでの最先端技術では、ユーザインタラクションと時間的伝搬を行う2つの独立したネットワークでiVOSに取り組みました。メモリ集約ネットワーク(MA-Net)と呼ばれる統合フレームワークを提案する。
論文参考訳（メタデータ） (2020-03-30T07:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。