論文の概要: HDAM: Heuristic Difference Attention Module for Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2202.09556v1
• Date: Sat, 19 Feb 2022 09:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-26 12:10:33.821151
• Title: HDAM: Heuristic Difference Attention Module for Convolutional Neural Networks
• Title（参考訳）: HDAM:畳み込みニューラルネットワークのためのヒューリスティック差分注意モジュール
• Authors: Yu Xue and Ziming Yuan
• Abstract要約: 注意機構は畳み込みニューラルネットワークを強化する上で最も重要な事前知識の1つである。 本稿では, 差分アテンションモジュール HDAM を用いた新しいアテンション機構を提案する。 私たちはPythonライブラリのPytorchでHDAMを実装しています。
• 参考スコア（独自算出の注目度）: 1.1125818448814198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The attention mechanism is one of the most important priori knowledge to enhance convolutional neural networks. Most attention mechanisms are bound to the convolutional layer and use local or global contextual information to recalibrate the input. This is a popular attention strategy design method. Global contextual information helps the network to consider the overall distribution, while local contextual information is more general. The contextual information makes the network pay attention to the mean or maximum value of a particular receptive field. Different from the most attention mechanism, this article proposes a novel attention mechanism with the heuristic difference attention module, HDAM. HDAM's input recalibration is based on the difference between the local and global contextual information instead of the mean and maximum values. At the same time, to make different layers have a more suitable local receptive field size and increase the exibility of the local receptive field design, we use genetic algorithm to heuristically produce local receptive fields. First, HDAM extracts the mean value of the global and local receptive fields as the corresponding contextual information. Then the difference between the global and local contextual information is calculated. Finally HDAM uses this difference to recalibrate the input. In addition, we use the heuristic ability of genetic algorithm to search for the local receptive field size of each layer. Our experiments on CIFAR-10 and CIFAR-100 show that HDAM can use fewer parameters than other attention mechanisms to achieve higher accuracy. We implement HDAM with the Python library, Pytorch, and the code and models will be publicly available.
• Abstract（参考訳）: 注意機構は畳み込みニューラルネットワークを強化する上で最も重要な事前知識の1つである。 ほとんどの注意機構は畳み込み層に縛り付けられ、局所的またはグローバルな文脈情報を用いて入力を再分類する。 これは一般的な注意戦略設計手法である。 グローバルなコンテキスト情報はネットワーク全体の分布を考えるのに役立つが、ローカルなコンテキスト情報はより一般的である。 文脈情報により、ネットワークは特定の受容領域の平均値または最大値に注意を向ける。 本稿では,最も注目される機構と異なり,ヒューリスティック差分注意モジュールであるHDAMを用いた新しい注意機構を提案する。 HDAMの入力再分類は、平均値と最大値ではなく、ローカルとグローバルのコンテキスト情報の違いに基づいている。 同時に、異なる層がより適切な局所受容フィールドサイズを有し、局所受容フィールド設計の拡張性を高めるために、遺伝的アルゴリズムを用いて局所受容フィールドをヒューリスティックに生成する。 まず、HDAMは、対応する文脈情報として、グローバルおよびローカルな受容フィールドの平均値を抽出する。 そして、グローバルとローカルのコンテキスト情報の違いを算出する。 最後に、HDAMはこの差を使って入力を校正する。 さらに,遺伝的アルゴリズムのヒューリスティックな能力を用いて,各層の局所受容野サイズを探索する。 CIFAR-10 と CIFAR-100 を用いた実験により,HDAM は他のアテンション機構よりも少ないパラメータで高い精度が得られることが示された。 我々はpythonライブラリpytorchでhdamを実装し、コードとモデルは公開される予定だ。

関連論文リスト

• Deep Homography Estimation for Visual Place Recognition [49.235432979736395]
  本稿では,変換器を用いたディープホモグラフィー推定(DHE)ネットワークを提案する。 バックボーンネットワークによって抽出された濃密な特徴写像を入力とし、高速で学習可能な幾何的検証のためにホモグラフィーに適合する。 ベンチマークデータセットを用いた実験により,本手法はいくつかの最先端手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-02-25T13:22:17Z)
• Exploring and Exploiting Multi-Granularity Representations for Machine Reading Comprehension [13.191437539419681]
  適応的双方向注意カプセルネットワーク(ABA-Net)という新しい手法を提案する。 ABA-Netは、異なるレベルのソース表現を予測子に適応的に活用する。 私たちはSQuAD 1.0データセットに新しい最先端パフォーマンスを設定しました。
  論文  参考訳（メタデータ） (2022-08-18T10:14:32Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• DeHIN: A Decentralized Framework for Embedding Large-scale Heterogeneous Information Networks [64.62314068155997]
  本稿では,異種情報ネットワーク(DeHIN)のための分散埋め込みフレームワークについて述べる。 DeHINは、大きなHINをハイパーグラフとして革新的に定式化するコンテキスト保存分割機構を提供する。 当社のフレームワークでは,木のようなパイプラインを採用することで,効率よくHINを分割する分散戦略を採用しています。
  論文  参考訳（メタデータ） (2022-01-08T04:08:36Z)
• ConAM: Confidence Attention Module for Convolutional Neural Networks [1.3571579680845614]
  本研究では,局所的な文脈情報とグローバルな文脈情報との相関に基づく新しいアテンション機構を提案する。 本手法は,少ないパラメータで情報量を増加させつつ,無駄な情報を抑制する。 私たちはPythonライブラリのPytorchでConAMを実装しています。
  論文  参考訳（メタデータ） (2021-10-27T12:06:31Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Global Context Aware RCNN for Object Detection [1.1939762265857436]
  我々はGCA (Global Context Aware) RCNNと呼ばれる新しいエンドツーエンドのトレーニング可能なフレームワークを提案する。 GCAフレームワークの中核となるコンポーネントは、グローバルな特徴ピラミッドとアテンション戦略の両方を特徴抽出と特徴改善に使用する、コンテキスト認識メカニズムである。 最後に,モデルの複雑さと計算負担をわずかに増加させる軽量バージョンを提案する。
  論文  参考訳（メタデータ） (2020-12-04T14:56:46Z)
• Gait Recognition via Effective Global-Local Feature Representation and Local Temporal Aggregation [28.721376937882958]
  歩行認識は最も重要な生体計測技術の一つであり、多くの分野で応用されている。 近年の歩行認識フレームワークは、人間のグローバルな外観または地域から抽出された記述子によって各歩行フレームを表現している。 歩行認識のための識別的特徴表現を実現するための新しい特徴抽出・融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-03T04:07:13Z)
• An Explicit Local and Global Representation Disentanglement Framework with Applications in Deep Clustering and Unsupervised Object Detection [9.609936822226633]
  我々はSPLITと呼ばれるフレームワークを提案し、ローカルおよびグローバルな情報を解き放つことができる。 我々のフレームワークは、可変オートエンコーダ(VAE)フレームワークに生成仮定を追加する。 このフレームワークは,これらのモデル内の局所的およびグローバル的情報を効果的に切り離すことができることを示す。
  論文  参考訳（メタデータ） (2020-01-24T12:09:20Z)
• Dense Residual Network: Enhancing Global Dense Feature Flow for Character Recognition [75.4027660840568]
  本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。 技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
  論文  参考訳（メタデータ） (2020-01-23T06:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。