Fugu-MT 論文翻訳(概要): Introduce the Result Into Self-Attention

論文の概要: Introduce the Result Into Self-Attention

arxiv url: http://arxiv.org/abs/2109.13860v1
Date: Tue, 21 Sep 2021 02:16:00 GMT
ステータス: 処理完了
システム内更新日: 2021-10-10 11:45:42.168437
Title: Introduce the Result Into Self-Attention
Title（参考訳）: 結果を自己確認に導入する
Authors: Chengcheng Ye
Abstract要約: 本稿では,事前に分類網の出力を取得しようとする新しいアテンション修正手法を提案する。我々は、GoogLeNetで提案された補助分類器を用いて、事前に結果を入手し、それらをアテンションネットワークに渡す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Traditional self-attention mechanisms in convolutional networks tend to use only the output of the previous layer as input to the attention network, such as SENet, CBAM, etc. In this paper, we propose a new attention modification method that tries to get the output of the classification network in advance and use it as a part of the input of the attention network. We used the auxiliary classifier proposed in GoogLeNet to obtain the results in advance and pass them into attention networks. we added this mechanism to SE-ResNet for our experiments and achieved a classification accuracy improvement of at most 1.94% on cifar100.
Abstract（参考訳）: 畳み込みネットワークにおける従来の自己着脱機構は、senet、cbamなどの注意ネットワークへの入力として、前層の出力のみを使用する傾向がある。本稿では,事前に分類ネットワークの出力を取得し,注意ネットワークの入力の一部として利用する新しい注意修正手法を提案する。我々はgooglenetで提案されている補助分類器を用いて事前に結果を取得してアテンションネットワークに渡す。実験のためにSE-ResNetにこのメカニズムを追加し、cifar100で少なくとも1.94%の分類精度の向上を実現した。

関連論文リスト

A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
論文参考訳（メタデータ） (2024-06-19T19:11:22Z)
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers [5.356051655680145]
本研究は,従来のトランスフォーマーモデルにおけるアテンション機構の動作を模倣するために,標準の浅層フィードフォワードネットワークを用いることの有効性について分析した。我々はトランスフォーマーの注意機構の重要な要素を簡単なフィードフォワードネットワークで置き換え、知識蒸留により元のコンポーネントを用いて訓練する。 IWSLT 2017データセットで実施した実験では,これらの“アテンションレストランスフォーマー(attentionless Transformers)”の能力が,オリジナルのアーキテクチャのパフォーマンスに匹敵することを示した。
論文参考訳（メタデータ） (2023-11-17T16:58:52Z)
Rega-Net:Retina Gabor Attention for Deep Convolutional Neural Networks [8.068451210598676]
本稿では,レガネット(Rega-net)という新しいアテンション手法を提案する。ヒト網膜のメカニズムにインスパイアされた我々は、ヒト網膜の非一様分布構造に類似した畳み込みカーネルを設計する。
論文参考訳（メタデータ） (2022-11-23T04:24:21Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
Self-Supervised Implicit Attention: Guided Attention by The Model Itself [1.3406858660972554]
我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。 SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。私たちの実装はGitHubで公開されます。
論文参考訳（メタデータ） (2022-06-15T10:13:34Z)
EAANet: Efficient Attention Augmented Convolutional Networks [0.0]
EAANet: 効率的な注意強化畳み込みネットワークを提案する。モデルのメモリフットプリントを削減するために、畳み込みと自己アテンションハイブリッドアーキテクチャに効率的な自己アテンション機構を組み込む。 EAANetは高解像度の画像を扱う能力が高いことを示す。
論文参考訳（メタデータ） (2022-06-03T21:22:12Z)
Bayesian Attention Belief Networks [59.183311769616466]
注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
論文参考訳（メタデータ） (2021-06-09T17:46:22Z)
One Point is All You Need: Directional Attention Point for Feature Learning [51.44837108615402]
ポイントクラウド分類やセグメンテーションなどのタスクのポイント機能強化を学習するための新しい注意ベースのメカニズムを提示する。我々は,最先端のクラウド分類とセグメンテーションネットワークに注目機構を組み込むことができることを示す。
論文参考訳（メタデータ） (2020-12-11T11:45:39Z)
Multi-stage Attention ResU-Net for Semantic Segmentation of Fine-Resolution Remote Sensing Images [9.398340832493457]
この問題に対処するための線形注意機構(LAM)を提案する。 LAMは、計算効率の高いドット積アテンションとほぼ同値である。微細なリモートセンシング画像からのセマンティックセグメンテーションのためのマルチステージアテンションResU-Netを設計する。
論文参考訳（メタデータ） (2020-11-29T07:24:21Z)
Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
論文参考訳（メタデータ） (2020-07-13T02:44:38Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。