論文の概要: A Generic Shared Attention Mechanism for Various Backbone Neural Networks

• arxiv url: http://arxiv.org/abs/2210.16101v2
• Date: Wed, 10 Apr 2024 02:33:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 20:04:52.430632
• Title: A Generic Shared Attention Mechanism for Various Backbone Neural Networks
• Title（参考訳）: 各種バックボーンニューラルネットワークの汎用的共有注意機構
• Authors: Zhongzhan Huang, Senwei Liang, Mingfu Liang, Liang Lin,
• Abstract要約: 自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
• 参考スコア（独自算出の注目度）: 53.36677373145012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The self-attention mechanism has emerged as a critical component for improving the performance of various backbone neural networks. However, current mainstream approaches individually incorporate newly designed self-attention modules (SAMs) into each layer of the network for granted without fully exploiting their parameters' potential. This leads to suboptimal performance and increased parameter consumption as the network depth increases. To improve this paradigm, in this paper, we first present a counterintuitive but inherent phenomenon: SAMs tend to produce strongly correlated attention maps across different layers, with an average Pearson correlation coefficient of up to 0.85. Inspired by this inherent observation, we propose Dense-and-Implicit Attention (DIA), which directly shares SAMs across layers and employs a long short-term memory module to calibrate and bridge the highly correlated attention maps of different layers, thus improving the parameter utilization efficiency of SAMs. This design of DIA is also consistent with the neural network's dynamical system perspective. Through extensive experiments, we demonstrate that our simple yet effective DIA can consistently enhance various network backbones, including ResNet, Transformer, and UNet, across tasks such as image classification, object detection, and image generation using diffusion models.
• Abstract（参考訳）: 自己認識機構は、様々なバックボーンニューラルネットワークの性能向上に重要な要素として浮上している。 しかし、現在の主流のアプローチは、パラメータのポテンシャルを完全に活用することなく、ネットワークの各層に新しく設計された自己注意モジュール(SAM)を個別に組み込む。 これにより、ネットワークの深さが増加するにつれて、最適以下の性能とパラメータ消費が増加する。 このパラダイムを改善するために,本論文ではまず,直感的だが固有の現象を提示する。SAMは,平均パーソン相関係数0.85で,異なる層に強く相関する注目マップを生成する傾向にある。 本研究は,Dense-and-Implicit Attention (DIA, Dense-and-Implicit Attention)を提案する。これはSAMを直接レイヤ間で共有し,異なるレイヤの高度に相関したアテンションマップを校正・ブリッジするための長期記憶モジュールを用いて,SAMのパラメータ利用効率を向上させる。 DIAのこの設計は、ニューラルネットワークの動的システムの観点からも一致している。 広範にわたる実験により、我々は、画像分類、オブジェクト検出、拡散モデルを用いた画像生成などのタスクにおいて、ResNet、Transformer、UNetを含む、単純で効果的なDIAが一貫して様々なネットワークバックボーンを拡張できることを実証した。

関連論文リスト

• CCDepth: A Lightweight Self-supervised Depth Estimation Network with Enhanced Interpretability [11.076431337488973]
  本研究では,畳み込みニューラルネットワーク(CNN)とホワイトボックスCRATEネットワークを組み合わせた,ハイブリッド型自己教師型深度推定ネットワークCCDepthを提案する。 このネットワークは,CNNとCRATEモジュールを用いて画像中の局所的およびグローバルな情報を抽出し,学習効率の向上とモデルサイズ削減を実現する。
  論文  参考訳（メタデータ） (2024-09-30T04:19:40Z)
• Efficient and Accurate Hyperspectral Image Demosaicing with Neural Network Architectures [3.386560551295746]
  本研究では,ハイパースペクトル画像復調におけるニューラルネットワークアーキテクチャの有効性について検討した。 様々なネットワークモデルと修正を導入し、それらを従来の手法や既存の参照ネットワークアプローチと比較する。 その結果、我々のネットワークは、例外的な性能を示す両方のデータセットにおいて、参照モデルよりも優れるか、一致していることがわかった。
  論文  参考訳（メタデータ） (2023-12-21T08:02:49Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• ADASR: An Adversarial Auto-Augmentation Framework for Hyperspectral and Multispectral Data Fusion [54.668445421149364]
  HSI(Deep Learning-based Hyperspectral Image)は、HSI(Hyperspectral Image)とMSI(Multispectral Image)を深層ニューラルネットワーク(DNN)に融合させることにより、高空間分解能HSI(HR-HSI)を生成することを目的としている。 本稿では, HSI-MSI 融合のためのデータ多様性を向上するために, HSI-MSI サンプルペアの自動最適化と拡張を行う新しい逆自動データ拡張フレームワーク ADASR を提案する。
  論文  参考訳（メタデータ） (2023-10-11T07:30:37Z)
• Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
  SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。 常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
  論文  参考訳（メタデータ） (2023-08-19T08:17:41Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Ensembles of Spiking Neural Networks [0.3007949058551534]
  本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。 MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。 我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
  論文  参考訳（メタデータ） (2020-10-15T17:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。