論文の概要: Efficient Multi-Scale Attention Module with Cross-Spatial Learning
- arxiv url: http://arxiv.org/abs/2305.13563v1
- Date: Tue, 23 May 2023 00:35:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 20:00:05.378375
- Title: Efficient Multi-Scale Attention Module with Cross-Spatial Learning
- Title（参考訳）: クロス空間学習によるマルチスケールアテンションモジュールの効率化
- Authors: Daliang Ouyang, Su He, Jian Zhan, Huaiyong Guo, Zhijie Huang, Mingzhu
Luo, Guozhong Zhang
- Abstract要約: 効率的なマルチスケールアテンション(EMA)モジュールを提案する。
チャネルごとの情報保持と計算オーバーヘッドの低減に重点を置いている。
我々は画像分類と物体検出タスクについて広範囲にわたるアブレーション研究と実験を行った。
- 参考スコア（独自算出の注目度）: 4.04617018594585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remarkable effectiveness of the channel or spatial attention mechanisms for
producing more discernible feature representation are illustrated in various
computer vision tasks. However, modeling the cross-channel relationships with
channel dimensionality reduction may bring side effect in extracting deep
visual representations. In this paper, a novel efficient multi-scale attention
(EMA) module is proposed. Focusing on retaining the information on per channel
and decreasing the computational overhead, we reshape the partly channels into
the batch dimensions and group the channel dimensions into multiple
sub-features which make the spatial semantic features well-distributed inside
each feature group. Specifically, apart from encoding the global information to
re-calibrate the channel-wise weight in each parallel branch, the output
features of the two parallel branches are further aggregated by a
cross-dimension interaction for capturing pixel-level pairwise relationship. We
conduct extensive ablation studies and experiments on image classification and
object detection tasks with popular benchmarks (e.g., CIFAR-100, ImageNet-1k,
MS COCO and VisDrone2019) for evaluating its performance.
- Abstract（参考訳）: より識別可能な特徴表現を生成するためのチャネルや空間的注意機構の顕著な効果は、様々なコンピュータビジョンタスクで示される。
しかし、チャネル次元の減少を伴うチャネル間関係のモデル化は、深い視覚的表現の抽出に副作用をもたらす可能性がある。
本稿では,新しい効率的なマルチスケール・アテンション(ema)モジュールを提案する。
チャネルごとの情報保持と計算オーバーヘッドの低減に着目し,部分的なチャネルをバッチ次元に再形成し,チャネル次元を複数のサブ機能にグループ化し,各機能グループ内で空間意味的特徴を適切に分散させる。
具体的には、グローバル情報を符号化して各並列ブランチのチャネルワイドを補正することとは別に、2つの並列ブランチの出力特徴を画素レベルのペアワイド関係をキャプチャするためのクロス次元相互作用によってさらに集約する。
一般的なベンチマーク(CIFAR-100, ImageNet-1k, MS COCO, VisDrone2019)を用いて画像分類と物体検出タスクに関する広範囲にわたるアブレーション研究と実験を行った。
関連論文リスト
- Remote Sensing Image Segmentation Using Vision Mamba and Multi-Scale Multi-Frequency Feature Fusion [9.098711843118629]
本稿では、状態空間モデル(SSM)を導入し、視覚マンバ(CVMH-UNet)に基づく新しいハイブリッドセマンティックセマンティックネットワークを提案する。
本手法は、クロス2Dスキャン(CS2D)を用いて、複数の方向からグローバル情報をフルにキャプチャする、クロス走査型視覚状態空間ブロック(CVSSBlock)を設計する。
ローカル情報取得におけるビジョン・マンバ(VMamba)の制約を克服するために畳み込みニューラルネットワークのブランチを組み込むことにより、このアプローチはグローバル機能とローカル機能の両方の包括的な分析を促進する。
論文 参考訳（メタデータ） (2024-10-08T02:17:38Z) - Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。
既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。
これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。
一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
論文 参考訳（メタデータ） (2024-04-11T03:00:00Z) - Joint Channel Estimation and Feedback with Masked Token Transformers in
Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。
エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。
提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文 参考訳（メタデータ） (2023-06-08T06:15:17Z) - CAT: Learning to Collaborate Channel and Spatial Attention from
Multi-Information Fusion [23.72040577828098]
本稿では,空間とチャネルのアテンション間の協調を活性化する「CAT」と呼ばれるプラグイン・アンド・プレイアテンション・モジュールを提案する。
具体的には、特徴を訓練可能な係数(コラ因子)として表現し、異なる注意モジュールの寄与を適応的に組み合わせる。
我々のCATは、オブジェクト検出、インスタンスセグメンテーション、画像分類において、既存の最先端の注意機構よりも優れています。
論文 参考訳（メタデータ） (2022-12-13T02:34:10Z) - Semantic Labeling of High Resolution Images Using EfficientUNets and
Transformers [5.177947445379688]
畳み込みニューラルネットワークとディープトランスを組み合わせた新しいセグメンテーションモデルを提案する。
提案手法は,最先端技術と比較してセグメント化精度が向上することを示す。
論文 参考訳（メタデータ） (2022-06-20T12:03:54Z) - Channelized Axial Attention for Semantic Segmentation [70.14921019774793]
チャネルアキシャルアテンション(CAA)を提案し、チャネルアテンションと軸アテンションをシームレスに統合し、計算複雑性を低減します。
私たちのCAAは、DANetのような他の注意モデルに比べて計算リソースをはるかに少なくするだけでなく、すべての検証済みデータセット上で最先端のResNet-101ベースのセグメンテーションモデルよりも優れています。
論文 参考訳（メタデータ） (2021-01-19T03:08:03Z) - Dual Attention GANs for Semantic Image Synthesis [101.36015877815537]
本稿では,写真リアリスティック・セマンティック・一貫性のあるイメージを合成するための新しいデュアルアテンションGAN(DAGAN)を提案する。
また,2つの新しいモジュール,すなわち位置対応空間アテンションモジュール(SAM)と規模対応チャネルアテンションモジュール(CAM)を提案する。
DAGANは、より少ないモデルパラメータを使用しながら、最先端のメソッドよりも驚くほど優れた結果が得られる。
論文 参考訳（メタデータ） (2020-08-29T17:49:01Z) - Single Image Super-Resolution via a Holistic Attention Network [87.42409213909269]
本稿では,階層,チャネル,位置間の全体的相互依存性をモデル化するための新しい全体論的注意ネットワーク(HAN)を提案する。
提案したHANは階層的特徴を適応的に強調し,層間相関を考慮した。
実験により、提案HANは、最先端の単一画像超解像アプローチに対して好適に機能することが示された。
論文 参考訳（メタデータ） (2020-08-20T04:13:15Z) - Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining
Network [13.628218953897946]
本稿では,JDNetとよばれる有効アルゴリズムを提案する。
自己校正畳み込みを用いたスケール・アグリゲーション・セルフアグリゲーション・モジュールを巧みに設計することにより,提案モデルはより優れたデコレーション結果が得られる。
論文 参考訳（メタデータ） (2020-08-06T17:04:34Z) - Sequential Hierarchical Learning with Distribution Transformation for
Image Super-Resolution [83.70890515772456]
画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。
特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。
実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
論文 参考訳（メタデータ） (2020-07-19T01:35:53Z) - Hybrid Multiple Attention Network for Semantic Segmentation in Aerial
Images [24.35779077001839]
グローバルな相関関係を適応的に捉えるために,Hybrid Multiple Attention Network (HMANet) という新しいアテンションベースのフレームワークを提案する。
本稿では,機能的冗長性を低減し,自己注意機構の効率を向上させるため,単純で効果的な領域シャッフルアテンション(RSA)モジュールを提案する。
論文 参考訳（メタデータ） (2020-01-09T07:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。