論文の概要: MCA: Moment Channel Attention Networks

• arxiv url: http://arxiv.org/abs/2403.01713v1
• Date: Mon, 4 Mar 2024 04:02:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:19:53.898409
• Title: MCA: Moment Channel Attention Networks
• Title（参考訳）: MCA:モーメントチャンネル注意ネットワーク
• Authors: Yangbo Jiang, Zhiwei Jiang, Le Han, Zenan Huang, Nenggan Zheng
• Abstract要約: ニューラルネットワーク内の特徴写像の統計モーメントについて検討する。 本研究は,モデルキャパシティ向上における高次モーメントの重要性を明らかにする。 モーメントチャネル注意(MCA)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.780493635885225
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Channel attention mechanisms endeavor to recalibrate channel weights to enhance representation abilities of networks. However, mainstream methods often rely solely on global average pooling as the feature squeezer, which significantly limits the overall potential of models. In this paper, we investigate the statistical moments of feature maps within a neural network. Our findings highlight the critical role of high-order moments in enhancing model capacity. Consequently, we introduce a flexible and comprehensive mechanism termed Extensive Moment Aggregation (EMA) to capture the global spatial context. Building upon this mechanism, we propose the Moment Channel Attention (MCA) framework, which efficiently incorporates multiple levels of moment-based information while minimizing additional computation costs through our Cross Moment Convolution (CMC) module. The CMC module via channel-wise convolution layer to capture multiple order moment information as well as cross channel features. The MCA block is designed to be lightweight and easily integrated into a variety of neural network architectures. Experimental results on classical image classification, object detection, and instance segmentation tasks demonstrate that our proposed method achieves state-of-the-art results, outperforming existing channel attention methods.
• Abstract（参考訳）: チャネルアテンション機構は、ネットワークの表現能力を高めるためにチャネルウェイトを再調整する。 しかし、主流の手法は、しばしば、モデル全体のポテンシャルを著しく制限する機能スクラッシャーとして、グローバル平均プールにのみ依存する。 本稿では,ニューラルネットワークにおける特徴マップの統計的モーメントについて検討する。 本研究は,モデルキャパシティ向上における高次モーメントの重要性を明らかにする。 その結果、グローバルな空間的コンテキストを捉えるために、EMA(Extensive Moment Aggregation)と呼ばれる柔軟で包括的なメカニズムを導入する。 このメカニズムに基づいて,複数のモーメントベース情報を効率的に統合し,クロスモーメント畳み込み(cmc)モジュールによる計算コストを最小化するモーメントチャネルアテンション(mca)フレームワークを提案する。 CMCモジュールはチャネルワイドの畳み込み層を介して、複数の順序モーメント情報とクロスチャネル特徴をキャプチャする。 MCAブロックは軽量で、さまざまなニューラルネットワークアーキテクチャに容易に統合できるように設計されている。 古典的画像分類,オブジェクト検出,インスタンス分割タスクの実験結果から,提案手法が既存のチャネルアテンション手法よりも優れていることを示す。

関連論文リスト

• DA-Flow: Dual Attention Normalizing Flow for Skeleton-based Video Anomaly Detection [52.74152717667157]
  本稿では,DAM(Dual Attention Module)と呼ばれる軽量モジュールを提案する。 フレームアテンション機構を使用して、最も重要なフレームを識別し、スケルトンアテンション機構を使用して、最小パラメータとフロップで固定されたパーティション間の広範な関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-05T06:18:03Z)
• MFPNet: Multi-scale Feature Propagation Network For Lightweight Semantic Segmentation [5.58363644107113]
  マルチスケール特徴伝達ネットワーク(Net)と呼ばれる,新しい軽量セグメンテーションアーキテクチャを提案する。 フレキシブル・ボトルネック・残差モジュール(BRM)からなる対称残差ブロックを有するロバスト・デコーダ構造を設計する。 遅延長範囲のコンテキスト関係をモデル化する能力の利点を生かして、グラフ畳み込みネットワーク(GCN)を活用し、BRMブロック間のマルチスケールフィーチャの伝搬を容易にする。
  論文  参考訳（メタデータ） (2023-09-10T02:02:29Z)
• Co-attention Propagation Network for Zero-Shot Video Object Segmentation [91.71692262860323]
  ゼロショットオブジェクトセグメンテーション(ZS-VOS)は、これらのオブジェクトを事前に知ることなく、ビデオシーケンス内のオブジェクトをセグメンテーションすることを目的としている。 既存のZS-VOSメソッドは、しばしば前景と背景を区別したり、複雑なシナリオで前景を追跡するのに苦労する。 本稿では,オブジェクトの追跡とセグメンテーションが可能なエンコーダデコーダに基づく階層的コアテンション伝搬ネットワーク(HCPN)を提案する。
  論文  参考訳（メタデータ） (2023-04-08T04:45:48Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• A Discriminative Channel Diversification Network for Image Classification [21.049734250642974]
  そこで本稿では,グローバルなコンテキストを改善するために,チャネル多様化ブロックと呼ばれる軽量で効果的なアテンションモジュールを提案する。 他のチャネルアテンション機構とは異なり、提案モジュールは最も識別性の高い特徴に焦点を当てている。 CIFAR-10、SVHN、Tiny-ImageNetのデータセットに対する実験により、提案モジュールはベースラインネットワークの性能を平均で3%向上することを示した。
  論文  参考訳（メタデータ） (2021-12-10T23:00:53Z)
• Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
  2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。 最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。 チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。 また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
  論文  参考訳（メタデータ） (2021-03-23T03:06:26Z)
• Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
  チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。 私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-01-19T03:08:03Z)
• Convolutional Neural Network optimization via Channel Reassessment Attention module [19.566271646280978]
  本稿では,Channel Reassesment (CRA) モジュールと呼ばれる新しいネットワーク最適化モジュールを提案する。 CRAモジュールは、特徴マップの空間情報とチャネルアテンションを用いて、ネットワークの表現力を高める。 ImageNetとMSデータセットの実験では、様々なネットワークにCRAモジュールを埋め込むことで、異なる評価基準下での性能が効果的に向上することが示されている。
  論文  参考訳（メタデータ） (2020-10-12T11:27:17Z)
• Single Image Super-Resolution via a Holistic Attention Network [87.42409213909269]
  本稿では,階層,チャネル,位置間の全体的相互依存性をモデル化するための新しい全体論的注意ネットワーク(HAN)を提案する。 提案したHANは階層的特徴を適応的に強調し,層間相関を考慮した。 実験により、提案HANは、最先端の単一画像超解像アプローチに対して好適に機能することが示された。
  論文  参考訳（メタデータ） (2020-08-20T04:13:15Z)
• Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images [24.35779077001839]
  グローバルな相関関係を適応的に捉えるために,Hybrid Multiple Attention Network (HMANet) という新しいアテンションベースのフレームワークを提案する。 本稿では,機能的冗長性を低減し,自己注意機構の効率を向上させるため,単純で効果的な領域シャッフルアテンション(RSA)モジュールを提案する。
  論文  参考訳（メタデータ） (2020-01-09T07:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。