論文の概要: BA-Net: Bridge Attention for Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2112.04150v1
• Date: Wed, 8 Dec 2021 07:39:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 13:46:55.392294
• Title: BA-Net: Bridge Attention for Deep Convolutional Neural Networks
• Title（参考訳）: BA-Net: 深層畳み込みニューラルネットワークのためのブリッジアテンション
• Authors: Yue Zhao, Junzhou Chen, Zirui Zhang and Ronghui Zhang
• Abstract要約: ブリッジアテンションネット(BA-Net)は,より優れたチャネルアテンション機構を実現するために提案されている。 BA-Netは、フィードフォワード時にチャネルウェイトを計算するためのよりリッチな機能を提供するだけでなく、バックフォワード時に更新されるパラメータの乗算パスも提供する。
• 参考スコア（独自算出の注目度）: 4.459779019776622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, channel attention mechanism is widely investigated for its great potential in improving the performance of deep convolutional neural networks (CNNs). However, in most existing methods, only the output of the adjacent convolution layer is fed to the attention layer for calculating the channel weights. Information from other convolution layers is ignored. With these observations, a simple strategy, named Bridge Attention Net (BA-Net), is proposed for better channel attention mechanisms. The main idea of this design is to bridge the outputs of the previous convolution layers through skip connections for channel weights generation. BA-Net can not only provide richer features to calculate channel weight when feedforward, but also multiply paths of parameters updating when backforward. Comprehensive evaluation demonstrates that the proposed approach achieves state-of-the-art performance compared with the existing methods in regards to accuracy and speed. Bridge Attention provides a fresh perspective on the design of neural network architectures and shows great potential in improving the performance of the existing channel attention mechanisms. The code is available at \url{https://github.com/zhaoy376/Attention-mechanism
• Abstract（参考訳）: 近年、チャネルアテンション機構は、ディープ畳み込みニューラルネットワーク(CNN)の性能を向上させる大きな可能性について広く研究されている。 しかし、ほとんどの既存手法では、チャネル重みを計算するために隣接する畳み込み層の出力のみを注意層に供給する。 他の畳み込み層からの情報は無視される。 これらの観測により, 橋梁注意網 (ba-net) と呼ばれる単純な戦略が提案されている。 この設計の主な考え方は、チャネル重み生成のためのスキップ接続を通じて、以前の畳み込み層の出力をブリッジすることである。 ba-netは、フィードフォワード時のチャネル重みを計算するためによりリッチな機能を提供するだけでなく、バックフォワード時にパラメータが更新されるパスを乗算できる。 包括的評価は,提案手法が従来の手法に比べて精度と速度を向上することを示す。 Bridge Attentionは、ニューラルネットワークアーキテクチャの設計に関する新たな視点を提供し、既存のチャネルアテンションメカニズムのパフォーマンスを改善する大きな可能性を示している。 コードは \url{https://github.com/zhaoy376/Attention-mechanism で入手できる。

関連論文リスト

• Channel Attention for Quantum Convolutional Neural Networks [0.0]
  量子畳み込みニューラルネットワーク(QCNN)は、量子機械学習の最も有望なアルゴリズムの1つとして注目を集めている。 本稿では,QCNNのチャネルアテンション機構を提案し,量子位相分類問題に対する本手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-11-06T04:54:05Z)
• RDRN: Recursively Defined Residual Network for Image Super-Resolution [58.64907136562178]
  深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像において顕著な性能を得た。 本稿では,注目ブロックを効率的に活用する新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-11-17T11:06:29Z)
• Interference Cancellation GAN Framework for Dynamic Channels [74.22393885274728]
  チャネルのあらゆる変更に適応できるオンライントレーニングフレームワークを導入します。 我々のフレームワークは、非常にダイナミックなチャネル上での最近のニューラルネットワークモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-08-17T02:01:18Z)
• DeepTx: Deep Learning Beamforming with Channel Prediction [8.739166282613118]
  本研究では,送信機の機械学習アルゴリズムに着目した。 ビームフォーミングを考慮し、所定のアップリンクチャネル推定を入力として、ビームフォーミングに使用するダウンリンクチャネル情報を出力するCNNを提案する。 ニューラルネットワークの主なタスクは、アップリンクとダウンリンクスロットの間のチャネル進化を予測することだが、チェーン全体の非効率性とエラーを処理することも学べる。
  論文  参考訳（メタデータ） (2022-02-16T11:19:54Z)
• Exploring Gradient Flow Based Saliency for DNN Model Compression [21.993801817422572]
  モデルプルーニングは、ディープニューラルネットワーク(DNN)モデルのサイズや計算オーバーヘッドを低減することを目的としている。 DNNのチャネル重要度を評価する従来のモデルプルーニング手法は,各チャネルの局所的解析にあまりにも注意を払っている。 本稿では,新しい流れの観点から新しいモデルプルーニング法を提案する。
  論文  参考訳（メタデータ） (2021-10-24T16:09:40Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Channel Scaling: A Scale-and-Select Approach for Transfer Learning [2.6304695993930594]
  予め訓練されたニューラルネットワークを用いた転送学習は、医学画像解析における分類器の訓練のための一般的な戦略である。 本稿では,チャネルスケーリング層を導入して,ネットワークを効率的に構築する手法を提案する。 このフレームワークは、L1正規化とスケーリングウェイトに対するしきい値の閾値を付与することにより、事前訓練されたモデルから不要な特徴チャネルを反復的に除去する。
  論文  参考訳（メタデータ） (2021-03-22T23:26:57Z)
• End-to-end learnable EEG channel selection with deep neural networks [72.21556656008156]
  本稿では,脳波チャネル選択をニューラルネットワーク自体に組み込む枠組みを提案する。 我々は、離散チャネル選択パラメータの連続緩和を用いて、この新しい最適化問題の離散的性質を扱う。 この一般的なアプローチは、2つの異なるEEGタスクで評価される。
  論文  参考訳（メタデータ） (2021-02-11T13:44:07Z)
• Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks [73.29587731448345]
  本稿では,低ビット幅重みとアクティベーションで深部畳み込みニューラルネットワークを訓練する2つの新しい手法を提案する。 まず、ビット幅の少ない重みを得るため、既存の方法の多くは、全精度ネットワーク重みで量子化することにより量子化重みを得る。 第二に、低ビット幅のアクティベーションを得るために、既存の作品はすべてのチャネルを等しく考慮する。
  論文  参考訳（メタデータ） (2020-12-26T15:21:18Z)
• Channel Pruning Guided by Spatial and Channel Attention for DNNs in Intelligent Edge Computing [15.248962858090431]
  重要な課題は、どのチャネルを削除すべきかを判断し、モデルの精度が負の影響を受けないようにすることだ。 本稿では,空間的注意とチャネル的注意の両方を組み合わせた新しいアテンションモジュールを提案する。 SCAのガイダンスにより、CPSCAアプローチは、他の最先端のプルーニング手法よりも高い推論精度を実現する。
  論文  参考訳（メタデータ） (2020-11-08T02:40:06Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。