Fugu-MT 論文翻訳(概要): Convolutional Neural Network optimization via Channel Reassessment Attention module

論文の概要: Convolutional Neural Network optimization via Channel Reassessment Attention module

arxiv url: http://arxiv.org/abs/2010.05605v1
Date: Mon, 12 Oct 2020 11:27:17 GMT
ステータス: 処理完了
システム内更新日: 2022-10-08 07:27:50.604010
Title: Convolutional Neural Network optimization via Channel Reassessment Attention module
Title（参考訳）: チャネル再評価アテンションモジュールによる畳み込みニューラルネットワーク最適化
Authors: YuTao Shen and Ying Wen
Abstract要約: 本稿では,Channel Reassesment (CRA) モジュールと呼ばれる新しいネットワーク最適化モジュールを提案する。 CRAモジュールは、特徴マップの空間情報とチャネルアテンションを用いて、ネットワークの表現力を高める。 ImageNetとMSデータセットの実験では、様々なネットワークにCRAモジュールを埋め込むことで、異なる評価基準下での性能が効果的に向上することが示されている。
参考スコア（独自算出の注目度）: 19.566271646280978
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The performance of convolutional neural networks (CNNs) can be improved by adjusting the interrelationship between channels with attention mechanism. However, attention mechanism in recent advance has not fully utilized spatial information of feature maps, which makes a great difference to the results of generated channel attentions. In this paper, we propose a novel network optimization module called Channel Reassessment Attention (CRA) module which uses channel attentions with spatial information of feature maps to enhance representational power of networks. We employ CRA module to assess channel attentions based on feature maps in different channels, then the final features are refined adaptively by product between channel attentions and feature maps.CRA module is a computational lightweight module and it can be embedded into any architectures of CNNs. The experiments on ImageNet, CIFAR and MS COCO datasets demonstrate that the embedding of CRA module on various networks effectively improves the performance under different evaluation standards.
Abstract（参考訳）: チャネル間の相互関係をアテンション機構で調整することにより、畳み込みニューラルネットワーク(CNN)の性能を向上させることができる。しかし,近年の注目機構は特徴マップの空間情報を十分に活用していないため,生み出したチャネルアテンションの結果に大きな違いがある。本稿では,チャネルアテンションと特徴マップの空間情報を用いて,ネットワークの表現力を高める新しいネットワーク最適化モジュールCRA(Channel Reassesment Attention)を提案する。我々はcraモジュールを用いて異なるチャネル内の特徴マップに基づいてチャネルの注意度を評価する。最終機能はチャネルの注意度と機能マップの間の積によって適応的に洗練される。craモジュールは計算軽量モジュールであり、cnnのどのアーキテクチャにも組み込むことができる。 ImageNet, CIFAR, MS COCOデータセットを用いた実験により, 各種ネットワークへのCRAモジュールの埋め込みは, 異なる評価基準下での性能を効果的に向上することを示した。

関連論文リスト

CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks [19.468704622654357]
深部CNNに対するチャネルワイド空間自己相関(CSA)アテンション機構を提案する。地理的解析にインスパイアされた提案CSAは,特徴写像のチャネル間の空間的関係を利用して,効果的なチャネル記述子を生成する。我々は、ImageNetおよびMS COCOベンチマークデータセットの広範な実験と分析により、提案したCSAネットワークの有効性を検証する。
論文参考訳（メタデータ） (2024-05-09T13:21:03Z)
TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文参考訳（メタデータ） (2024-04-15T06:01:48Z)
TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
論文参考訳（メタデータ） (2024-04-11T15:39:10Z)
MCA: Moment Channel Attention Networks [10.780493635885225]
ニューラルネットワーク内の特徴写像の統計モーメントについて検討する。本研究は,モデルキャパシティ向上における高次モーメントの重要性を明らかにする。モーメントチャネル注意(MCA)フレームワークを提案する。
論文参考訳（メタデータ） (2024-03-04T04:02:59Z)
An Efficient Speech Separation Network Based on Recurrent Fusion Dilated Convolution and Channel Attention [0.2538209532048866]
本稿では,拡張畳み込み,マルチスケール融合(MSF),チャネルアテンションを組み合わせた効率的な音声分離ニューラルネットワーク ARFDCN を提案する。実験結果から,本モデルでは性能と計算効率のバランスが良好であることが示唆された。
論文参考訳（メタデータ） (2023-06-09T13:30:27Z)
Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文参考訳（メタデータ） (2023-06-08T06:15:17Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
A Discriminative Channel Diversification Network for Image Classification [21.049734250642974]
そこで本稿では,グローバルなコンテキストを改善するために,チャネル多様化ブロックと呼ばれる軽量で効果的なアテンションモジュールを提案する。他のチャネルアテンション機構とは異なり、提案モジュールは最も識別性の高い特徴に焦点を当てている。 CIFAR-10、SVHN、Tiny-ImageNetのデータセットに対する実験により、提案モジュールはベースラインネットワークの性能を平均で3%向上することを示した。
論文参考訳（メタデータ） (2021-12-10T23:00:53Z)
TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in CNNs [18.24779045808196]
本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
論文参考訳（メタデータ） (2021-11-26T12:35:17Z)
Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
論文参考訳（メタデータ） (2021-01-19T03:08:03Z)
Volumetric Transformer Networks [88.85542905676712]
学習可能なモジュールである容積変換器ネットワーク(VTN)を導入する。 VTNは、中間CNNの空間的およびチャネル的特徴を再設定するために、チャネル回りの歪み場を予測する。実験の結果,VTNは特徴量の表現力を一貫して向上し,細粒度画像認識とインスタンスレベルの画像検索におけるネットワークの精度が向上することがわかった。
論文参考訳（メタデータ） (2020-07-18T14:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。