論文の概要: ConAM: Confidence Attention Module for Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2110.14369v1
- Date: Wed, 27 Oct 2021 12:06:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 23:09:13.839887
- Title: ConAM: Confidence Attention Module for Convolutional Neural Networks
- Title（参考訳）: ConAM: 畳み込みニューラルネットワークのための信頼性注意モジュール
- Authors: Yu Xue, Ziming Yuan and Ferrante Neri
- Abstract要約: 本研究では,局所的な文脈情報とグローバルな文脈情報との相関に基づく新しいアテンション機構を提案する。
本手法は,少ないパラメータで情報量を増加させつつ,無駄な情報を抑制する。
私たちはPythonライブラリのPytorchでConAMを実装しています。
- 参考スコア（独自算出の注目度）: 1.3571579680845614
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The so-called ``attention'' is an efficient mechanism to improve the
performance of convolutional neural networks. It uses contextual information to
recalibrate the input to strengthen the propagation of informative features.
However, the majority of the attention mechanisms only consider either local or
global contextual information, which is singular to extract features. Moreover,
many existing mechanisms directly use the contextual information to recalibrate
the input, which unilaterally enhances the propagation of the informative
features, but does not suppress the useless ones. This paper proposes a new
attention mechanism module based on the correlation between local and global
contextual information and we name this correlation as confidence. The novel
attention mechanism extracts the local and global contextual information
simultaneously, and calculates the confidence between them, then uses this
confidence to recalibrate the input pixels. The extraction of local and global
contextual information increases the diversity of features. The recalibration
with confidence suppresses useless information while enhancing the informative
one with fewer parameters. We use CIFAR-10 and CIFAR-100 in our experiments and
explore the performance of our method's components by sufficient ablation
studies. Finally, we compare our method with a various state-of-the-art
convolutional neural networks and the results show that our method completely
surpasses these models. We implement ConAM with the Python library, Pytorch,
and the code and models will be publicly available.
- Abstract（参考訳）: いわゆる ‘attention' は畳み込みニューラルネットワークの性能を改善する効率的なメカニズムである。
文脈情報を用いて入力を校正し、情報的特徴の伝播を強化する。
しかし,注目メカニズムの大部分は,特徴抽出に特異な局所的・大域的文脈情報のみを考慮したものである。
さらに、既存の多くのメカニズムは、文脈情報を直接使用して入力を再調整し、一方的に情報的特徴の伝播を増大させるが、役に立たないものを抑圧しない。
本稿では,局所的文脈情報とグローバル的文脈情報の相関に基づく新しい注意機構モジュールを提案し,この相関を信頼度と呼ぶ。
新しい注意機構は、ローカルとグローバルのコンテキスト情報を同時に抽出し、それらの間の信頼度を算出し、この信頼度を用いて入力画素を再調整する。
局所的・グローバルな文脈情報の抽出は特徴の多様性を高める。
信頼度のある校正は、情報的情報を少ないパラメータで強化しつつ、無駄な情報を抑制する。
我々は,CIFAR-10とCIFAR-100を実験に使用し,十分なアブレーション実験により本手法のコンポーネントの性能について検討した。
最後に,本手法を最先端の畳み込みニューラルネットワークと比較し,本手法がこれらモデルを完全に超越していることを示す。
我々はpythonライブラリ、pytorchでconamを実装しており、コードとモデルは公開される予定だ。
関連論文リスト
- Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。
注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
論文 参考訳（メタデータ） (2024-09-20T07:41:47Z) - Self-Attention-Based Contextual Modulation Improves Neural System Identification [2.784365807133169]
一次視覚野の皮質ニューロンは、水平およびフィードバック接続によって媒介される文脈情報に敏感である。
CNNはグローバルなコンテキスト情報を統合し、連続的な畳み込みと完全に接続された読み出し層という2つのメカニズムを通じてコンテキスト変調をモデル化する。
自己アテンションは、パラメータマッチングされたCNNよりも2つの重要な指標であるチューニング曲線相関とピークチューニングにおいて、ニューラルネットワークの応答予測を改善することができる。
論文 参考訳（メタデータ） (2024-06-12T03:21:06Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Adaptive Local-Component-aware Graph Convolutional Network for One-shot
Skeleton-based Action Recognition [54.23513799338309]
骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。
我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
論文 参考訳（メタデータ） (2022-09-21T02:33:07Z) - HDAM: Heuristic Difference Attention Module for Convolutional Neural
Networks [1.1125818448814198]
注意機構は畳み込みニューラルネットワークを強化する上で最も重要な事前知識の1つである。
本稿では, 差分アテンションモジュール HDAM を用いた新しいアテンション機構を提案する。
私たちはPythonライブラリのPytorchでHDAMを実装しています。
論文 参考訳（メタデータ） (2022-02-19T09:19:01Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳（メタデータ） (2020-12-05T22:58:37Z) - Data-Informed Global Sparseness in Attention Mechanisms for Deep Neural Networks [33.07113523598028]
本研究では,アテンション・プルーニング(Attention Pruning,AP)を提案する。
APは、言語モデリングの注意計算の90%を節約し、機械翻訳とGLUEタスクの約50%を節約し、結果の品質を維持している。
論文 参考訳（メタデータ） (2020-11-20T13:58:21Z) - BayGo: Joint Bayesian Learning and Information-Aware Graph Optimization [48.30183416069897]
BayGoは、ベイズ学習とグラフ最適化のフレームワークである。
本研究の枠組みは、完全連結および恒星トポロジーグラフと比較して、より高速な収束と精度を実現する。
論文 参考訳（メタデータ） (2020-11-09T11:16:55Z) - Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。
エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。
入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
論文 参考訳（メタデータ） (2020-06-16T15:07:25Z) - Incorporating Effective Global Information via Adaptive Gate Attention
for Text Classification [13.45504908358177]
複数のベースラインモデルと比較して,単純な統計情報により分類性能が向上することを示す。
本稿では,グローバル情報を用いた適応ゲート注意モデル (AGA+GI) と呼ばれるゲート機構を持つ分類器を提案する。
実験の結果,提案手法はCNNベースの手法やRNNベースの手法よりも精度が高いことがわかった。
論文 参考訳（メタデータ） (2020-02-22T10:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。