論文の概要: Parameter-Free Average Attention Improves Convolutional Neural Network Performance (Almost) Free of Charge

• arxiv url: http://arxiv.org/abs/2210.07828v1
• Date: Fri, 14 Oct 2022 13:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 16:59:44.530273
• Title: Parameter-Free Average Attention Improves Convolutional Neural Network Performance (Almost) Free of Charge
• Title（参考訳）: パラメータフリーな平均注意による畳み込みニューラルネットワークのパフォーマンス改善(ほぼ)
• Authors: Nils K\"orber (Center for Artificial Intelligence in Public Health Research, Robert Koch Institute, Berlin, Germany)
• Abstract要約: 我々はPfAAMと呼ばれるパラメータフリーのアテンション機構を導入する。 PfAAMは、計算オーバーヘッドが少なく、モデルサイズに影響を与えることなく、様々な畳み込みニューラルネットワークアーキテクチャにプラグインすることができる。 これは、コンピュータビジョンタスクのための汎用的な使い勝手の良いモジュールとして、幅広い適用性を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual perception is driven by the focus on relevant aspects in the surrounding world. To transfer this observation to the digital information processing of computers, attention mechanisms have been introduced to highlight salient image regions. Here, we introduce a parameter-free attention mechanism called PfAAM, that is a simple yet effective module. It can be plugged into various convolutional neural network architectures with a little computational overhead and without affecting model size. PfAAM was tested on multiple architectures for classification and segmentic segmentation leading to improved model performance for all tested cases. This demonstrates its wide applicability as a general easy-to-use module for computer vision tasks. The implementation of PfAAM can be found on https://github.com/nkoerb/pfaam.
• Abstract（参考訳）: 視覚の知覚は、周囲の世界の関連する側面に焦点が当てられている。 この観察をコンピュータのデジタル情報処理に移すため、注目度の高い画像領域を強調するアテンション機構が導入された。 本稿では,単純かつ効果的なモジュールである pfaam というパラメータフリーなアテンション機構を導入する。 計算オーバーヘッドが少なく、モデルサイズに影響を与えることなく、さまざまな畳み込みニューラルネットワークアーキテクチャにプラグインすることができる。 PfAAMは分類とセグメント分割のために複数のアーキテクチャでテストされ、すべてのテストケースでモデル性能が改善された。 これは、コンピュータビジョンタスクの汎用的な使いやすいモジュールとして、幅広い適用性を示している。 PfAAMの実装はhttps://github.com/nkoerb/pfaamで見ることができる。

関連論文リスト

• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• NiNformer: A Network in Network Transformer with Token Mixing Generated Gating Function [1.3812010983144802]
  このアテンション機構はコンピュータビジョンでビジョントランスフォーマー ViT として使用された。 コストがかかり、効率的な最適化のためにかなりのサイズのデータセットを必要とするという欠点がある。 本稿では,新しい計算ブロックを標準ViTブロックの代替として導入し,計算負荷を削減する。
  論文  参考訳（メタデータ） (2024-03-04T19:08:20Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions [0.0]
  注意モジュールと自己注意という,2種類の注意機構に注目した。 注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。 自己認識(Self-Attention)は、元々自然言語処理の分野で提案されていたもので、入力シーケンス内のすべての項目を関連付けることができる。
  論文  参考訳（メタデータ） (2021-12-23T18:02:48Z)
• TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in CNNs [18.24779045808196]
  本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。 我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
  論文  参考訳（メタデータ） (2021-11-26T12:35:17Z)
• DMSANet: Dual Multi Scale Attention Network [0.0]
  我々は,最高の性能を達成するだけでなく,既存のモデルに比べてパラメータも少ない新しいアテンションモジュールを提案する。 私たちの注目モジュールは、軽量な性質のため、他の畳み込みニューラルネットワークと容易に統合できます。
  論文  参考訳（メタデータ） (2021-06-13T10:31:31Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Visual Concept Reasoning Networks [93.99840807973546]
  分割変換マージ戦略は、視覚認識タスクのための畳み込みニューラルネットワークのアーキテクチャ制約として広く使用されている。 我々は、この戦略を利用して、高レベルの視覚概念間の推論を可能にするために、Visual Concept Reasoning Networks (VCRNet) と組み合わせることを提案する。 提案するモデルであるVCRNetは、パラメータ数を1%以下にすることで、一貫して性能を向上する。
  論文  参考訳（メタデータ） (2020-08-26T20:02:40Z)
• Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images [24.35779077001839]
  グローバルな相関関係を適応的に捉えるために,Hybrid Multiple Attention Network (HMANet) という新しいアテンションベースのフレームワークを提案する。 本稿では,機能的冗長性を低減し,自己注意機構の効率を向上させるため,単純で効果的な領域シャッフルアテンション(RSA)モジュールを提案する。
  論文  参考訳（メタデータ） (2020-01-09T07:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。