Fugu-MT 論文翻訳(概要): CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks

論文の概要: CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks

arxiv url: http://arxiv.org/abs/2405.05755v1
Date: Thu, 9 May 2024 13:21:03 GMT
ステータス: 処理完了
システム内更新日: 2024-05-10 13:23:01.100607
Title: CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks
Title（参考訳）: CSA-Net:チャネルワイドな空間的自己相関型アテンションネットワーク
Authors: Nick, Nikzad, Yongsheng Gao, Jun Zhou,
Abstract要約: 深部CNNに対するチャネルワイド空間自己相関(CSA)アテンション機構を提案する。地理的解析にインスパイアされた提案CSAは,特徴写像のチャネル間の空間的関係を利用して,効果的なチャネル記述子を生成する。我々は、ImageNetおよびMS COCOベンチマークデータセットの広範な実験と分析により、提案したCSAネットワークの有効性を検証する。
参考スコア（独自算出の注目度）: 17.821496485338738
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, convolutional neural networks (CNNs) with channel-wise feature refining mechanisms have brought noticeable benefits to modelling channel dependencies. However, current attention paradigms fail to infer an optimal channel descriptor capable of simultaneously exploiting statistical and spatial relationships among feature maps. In this paper, to overcome this shortcoming, we present a novel channel-wise spatially autocorrelated (CSA) attention mechanism. Inspired by geographical analysis, the proposed CSA exploits the spatial relationships between channels of feature maps to produce an effective channel descriptor. To the best of our knowledge, this is the f irst time that the concept of geographical spatial analysis is utilized in deep CNNs. The proposed CSA imposes negligible learning parameters and light computational overhead to the deep model, making it a powerful yet efficient attention module of choice. We validate the effectiveness of the proposed CSA networks (CSA-Nets) through extensive experiments and analysis on ImageNet, and MS COCO benchmark datasets for image classification, object detection, and instance segmentation. The experimental results demonstrate that CSA-Nets are able to consistently achieve competitive performance and superior generalization than several state-of-the-art attention-based CNNs over different benchmark tasks and datasets.
Abstract（参考訳）: 近年、チャネルワイズ機能強化機構を備えた畳み込みニューラルネットワーク(CNN)は、チャネル依存性のモデル化に顕著なメリットをもたらしている。しかし、現在注目されているパラダイムは、特徴写像間の統計的および空間的関係を同時に活用できる最適なチャネル記述子を推論することができない。本稿では,この欠点を克服するために,チャネルワイドな空間的自己相関(CSA)アテンション機構を提案する。地理的解析にインスパイアされた提案CSAは,特徴写像のチャネル間の空間的関係を利用して,効果的なチャネル記述子を生成する。我々の知る限りでは、地理的空間解析の概念が深層CNNで活用されるのはf不機嫌な時期である。提案したCSAは、深層モデルに無視可能な学習パラメータと軽量な計算オーバーヘッドを課し、強力で効率的な注意モジュールとして選択できる。提案するCSAネットワーク(CSA-Nets)の有効性を,画像分類,オブジェクト検出,インスタンスセグメンテーションのためのMS COCOベンチマークデータセットを用いて検証した。実験の結果、CSA-Netは、さまざまなベンチマークタスクやデータセットに対して、最先端の注目ベースのCNNよりも、競争性能と優れた一般化を一貫して達成できることが示された。

関連論文リスト

TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文参考訳（メタデータ） (2024-04-15T06:01:48Z)
TBSN: Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising [94.09442506816724]
BSN(Blind-spot Network)は、自己教師型イメージデノベーション(SSID)において一般的なネットワークアーキテクチャである。本稿では, ブラインドスポット要求を満たす変圧器演算子の解析と再設計により, 変圧器ベースブラインドスポットネットワーク(TBSN)を提案する。空間的自己注意のために、注意行列に精巧なマスクを適用して受容場を制限し、拡張された畳み込みを模倣する。チャネル自己アテンションについては,マルチスケールアーキテクチャの深層部において,チャネル数が空間的サイズよりも大きい場合,盲点情報を漏洩する可能性がある。
論文参考訳（メタデータ） (2024-04-11T15:39:10Z)
Joint Channel Estimation and Feedback with Masked Token Transformers in Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文参考訳（メタデータ） (2023-06-08T06:15:17Z)
CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文参考訳（メタデータ） (2021-10-21T06:26:31Z)
Channel-Wise Early Stopping without a Validation Set via NNK Polytope Interpolation [36.479195100553085]
畳み込みニューラルネットワーク(ConvNets)は、複数のチャネルの集約によって形成される高次元の特徴空間からなる。非次元カーネル回帰(NNK)グラフに基づく新しい一般化推定法であるチャネルワイドDeepNNKを提案する。
論文参考訳（メタデータ） (2021-07-27T17:33:30Z)
Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
論文参考訳（メタデータ） (2021-01-19T03:08:03Z)
Convolutional Neural Network optimization via Channel Reassessment Attention module [19.566271646280978]
本稿では,Channel Reassesment (CRA) モジュールと呼ばれる新しいネットワーク最適化モジュールを提案する。 CRAモジュールは、特徴マップの空間情報とチャネルアテンションを用いて、ネットワークの表現力を高める。 ImageNetとMSデータセットの実験では、様々なネットワークにCRAモジュールを埋め込むことで、異なる評価基準下での性能が効果的に向上することが示されている。
論文参考訳（メタデータ） (2020-10-12T11:27:17Z)
Co-Saliency Spatio-Temporal Interaction Network for Person Re-Identification in Videos [85.6430597108455]
本稿では,ビデオにおける人物の身元確認のためのCSTNet(Co-Saliency Spatio-Temporal Interaction Network)を提案する。ビデオフレーム間の共通した有意な前景領域をキャプチャし、そのような領域からの空間的時間的長距離コンテキストの相互依存性を探索する。 CSTNet内の複数の空間的時間的相互作用モジュールを提案し,その特徴と空間的時間的情報相関の空間的・時間的長期的相互依存性を利用した。
論文参考訳（メタデータ） (2020-04-10T10:23:58Z)
Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images [24.35779077001839]
グローバルな相関関係を適応的に捉えるために,Hybrid Multiple Attention Network (HMANet) という新しいアテンションベースのフレームワークを提案する。本稿では,機能的冗長性を低減し,自己注意機構の効率を向上させるため,単純で効果的な領域シャッフルアテンション(RSA)モジュールを提案する。
論文参考訳（メタデータ） (2020-01-09T07:47:51Z)
Cross-scale Attention Model for Acoustic Event Classification [45.15898265162008]
我々は,異なるスケールの特徴を明示的に統合して最終表現を形成する,クロススケールアテンション(CSA)モデルを提案する。提案したCSAモデルは,現在最先端のディープラーニングアルゴリズムの性能を効果的に向上できることを示す。
論文参考訳（メタデータ） (2019-12-27T07:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。