Fugu-MT 論文翻訳(概要): NAM: Normalization-based Attention Module

論文の概要: NAM: Normalization-based Attention Module

arxiv url: http://arxiv.org/abs/2111.12419v1
Date: Wed, 24 Nov 2021 11:06:08 GMT
ステータス: 処理完了
システム内更新日: 2021-11-25 18:51:05.297364
Title: NAM: Normalization-based Attention Module
Title（参考訳）: NAM:正規化ベースのアテンションモジュール
Authors: Yichao Liu, Zongru Shao, Yueyang Teng, Nico Hoffmann
Abstract要約: 新規な正規化型アテンションモジュール(NAM)を提案する。注意モジュールに重み空間のペナルティを適用するため、同様の性能を維持しながら計算効率が向上する。 Resnet と Mobilenet の他の3つの注意機構との比較により,提案手法の精度が向上したことを示す。
参考スコア（独自算出の注目度）: 1.7434507809930746
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recognizing less salient features is the key for model compression. However, it has not been investigated in the revolutionary attention mechanisms. In this work, we propose a novel normalization-based attention module (NAM), which suppresses less salient weights. It applies a weight sparsity penalty to the attention modules, thus, making them more computational efficient while retaining similar performance. A comparison with three other attention mechanisms on both Resnet and Mobilenet indicates that our method results in higher accuracy. Code for this paper can be publicly accessed at https://github.com/Christian-lyc/NAM.
Abstract（参考訳）: モデル圧縮の鍵は、より健全な特徴を認識することです。しかし、革命的注意機構では研究されていない。本研究では,より少ない塩分重みを抑制する新しい正規化型アテンションモジュール(nam)を提案する。注意モジュールに重み空間のペナルティを適用するため、同様の性能を維持しながら計算効率が向上する。 Resnet と Mobilenet の他の3つの注意機構との比較により,提案手法の精度が向上したことを示す。この論文のコードはhttps://github.com/Christian-lyc/NAM.comで公開されている。

関連論文リスト

More Expressive Attention with Negative Weights [36.40344438470477]
本稿では,注意重みを否定的に表現力を高めるための新しい注意機構,Cog Attentionを提案する。 Cog Attentionはトークンの削除とコピー機能を静的なOV行列から動的QK内部積にシフトさせる。コグ注意(Cog Attention)はモデルの表現的崩壊に対する堅牢性を改善する。
論文参考訳（メタデータ） (2024-11-11T17:56:28Z)
Neural Attention Memory [6.345523830122167]
本稿では,ニューラルネットワーク,すなわちニューラルアテンションメモリ(NAM)のメモリアーキテクチャとして再発明することで,アテンションメカニズムの新たな視点を提案する。 NAM は可読性と可読性の両方を持つメモリ構造であり、微分可能な線形代数演算によって記述可能である。 NAMの3つのユースケースとして、メモリ拡張ニューラルネットワーク(MANN)、少数ショット学習、効率的な長距離注意(long-range attention)について検討する。
論文参考訳（メタデータ） (2023-02-18T21:19:21Z)
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers [59.57128476584361]
本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
論文参考訳（メタデータ） (2022-11-07T12:37:54Z)
Guiding Visual Question Answering with Attention Priors [76.21671164766073]
本稿では,言語・視覚的接地による注意機構の導出について述べる。この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
論文参考訳（メタデータ） (2022-05-25T09:53:47Z)
Assessing the Impact of Attention and Self-Attention Mechanisms on the Classification of Skin Lesions [0.0]
注意モジュールと自己注意という,2種類の注意機構に注目した。注意モジュールは各層入力テンソルの特徴を再重み付けするために使用される。自己認識(Self-Attention)は、元々自然言語処理の分野で提案されていたもので、入力シーケンス内のすべての項目を関連付けることができる。
論文参考訳（メタデータ） (2021-12-23T18:02:48Z)
Causal Attention for Unbiased Visual Recognition [76.87114090435618]
注意モジュールは、どんなコンテキストにおいても堅牢な因果的特徴を深層モデルで学ぶのに役立つとは限らない。本稿では,コーカサリ・アテンション・モジュール(CaaM)を提案する。 OOD設定では、CaaMによるディープモデルは、それなしではパフォーマンスが大幅に向上する。
論文参考訳（メタデータ） (2021-08-19T16:45:51Z)
Attention in Attention Network for Image Super-Resolution [18.2279472158217]
静的な注意メカニズムを定量化し、視覚化し、すべての注意モジュールが等しく有益ではないことを示します。高精度な画像SRのために注目ネットワーク(A$2$N)への注目を提案します。我々のモデルは最先端の軽量ネットワークと比較して優れたトレードオフ性能を実現することができる。
論文参考訳（メタデータ） (2021-04-19T17:59:06Z)
Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
論文参考訳（メタデータ） (2021-04-01T10:19:40Z)
Causal Attention for Vision-Language Tasks [142.82608295995652]
新しい注意機構:Causal Attention (CATT)について紹介する。 CATTは、既存の注目に基づく視覚言語モデルにおける絶え間ない欠点を除去する。特に,CATTは大規模プレトレーニングにおいて大きな可能性を秘めている。
論文参考訳（メタデータ） (2021-03-05T06:38:25Z)
Bayesian Attention Modules [65.52970388117923]
実装や最適化が容易な,スケーラブルな注目バージョンを提案する。本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
論文参考訳（メタデータ） (2020-10-20T20:30:55Z)
Gaussian Constrained Attention Network for Scene Text Recognition [16.485898019983797]
既存の注意機構は注意拡散の問題に直面しており、モデルが特定の特徴領域に焦点を絞らない可能性がある。本稿では,新しいガウス制約リファインメントモジュールを組み込んだ2次元アテンションベース手法を提案する。このように、注意重みはより集中し、注意に基づく認識ネットワークはより良いパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-10-19T01:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。