Fugu-MT 論文翻訳(概要): Self-Supervised Implicit Attention: Guided Attention by The Model Itself

論文の概要: Self-Supervised Implicit Attention: Guided Attention by The Model Itself

arxiv url: http://arxiv.org/abs/2206.07434v1
Date: Wed, 15 Jun 2022 10:13:34 GMT
ステータス: 処理完了
システム内更新日: 2022-06-16 14:13:39.508154
Title: Self-Supervised Implicit Attention: Guided Attention by The Model Itself
Title（参考訳）: 自己監督型インシデント注意:モデル自身によるガイド型アテンション
Authors: Jinyi Wu, Xun Gong, Zhemin Zhang
Abstract要約: 我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。 SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。私たちの実装はGitHubで公開されます。
参考スコア（独自算出の注目度）: 1.3406858660972554
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose Self-Supervised Implicit Attention (SSIA), a new approach that adaptively guides deep neural network models to gain attention by exploiting the properties of the models themselves. SSIA is a novel attention mechanism that does not require any extra parameters, computation, or memory access costs during inference, which is in contrast to existing attention mechanism. In short, by considering attention weights as higher-level semantic information, we reconsidered the implementation of existing attention mechanisms and further propose generating supervisory signals from higher network layers to guide lower network layers for parameter updates. We achieved this by building a self-supervised learning task using the hierarchical features of the network itself, which only works at the training stage. To verify the effectiveness of SSIA, we performed a particular implementation (called an SSIA block) in convolutional neural network models and validated it on several image classification datasets. The experimental results show that an SSIA block can significantly improve the model performance, even outperforms many popular attention methods that require additional parameters and computation costs, such as Squeeze-and-Excitation and Convolutional Block Attention Module. Our implementation will be available on GitHub.
Abstract（参考訳）: 我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。 SSIAは、既存のアテンションメカニズムとは対照的に、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。つまり、注意重みを高レベル意味情報として考慮し、既存の注意機構の実装を再考し、さらに、より上位のネットワーク層から監視信号を生成し、より下位のネットワーク層をパラメータ更新に導くことを提案する。我々は,ネットワーク自体の階層的特徴を用いて自己教師あり学習タスクを構築し,トレーニング段階でのみ機能するようにした。 SSIAの有効性を検証するため、畳み込みニューラルネットワークモデルにおける特定の実装(SSIAブロックと呼ばれる)を行い、複数の画像分類データセットで検証した。実験の結果,SSIAブロックは,Squeeze-and-Excitation や Convolutional Block Attention Module など,新たなパラメータや計算コストを必要とする多くの一般的な注目手法よりも優れていることがわかった。私たちの実装はGitHubで公開されます。

関連論文リスト

CCDepth: A Lightweight Self-supervised Depth Estimation Network with Enhanced Interpretability [11.076431337488973]
本研究では,畳み込みニューラルネットワーク(CNN)とホワイトボックスCRATEネットワークを組み合わせた,ハイブリッド型自己教師型深度推定ネットワークCCDepthを提案する。このネットワークは,CNNとCRATEモジュールを用いて画像中の局所的およびグローバルな情報を抽出し,学習効率の向上とモデルサイズ削減を実現する。
論文参考訳（メタデータ） (2024-09-30T04:19:40Z)
A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
論文参考訳（メタデータ） (2024-06-19T19:11:22Z)
Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
論文参考訳（メタデータ） (2024-06-04T15:47:03Z)
Understanding Self-attention Mechanism via Dynamical System Perspective [58.024376086269015]
SAM(Self-attention mechanism)は、人工知能の様々な分野で広く使われている。常微分方程式(ODE)の高精度解における固有剛性現象(SP)は,高性能ニューラルネットワーク(NN)にも広く存在することを示す。 SAMは、本質的なSPを測定するためのモデルの表現能力を高めることができる剛性対応のステップサイズ適応器でもあることを示す。
論文参考訳（メタデータ） (2023-08-19T08:17:41Z)
Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
論文参考訳（メタデータ） (2023-06-19T23:10:02Z)
Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文参考訳（メタデータ） (2023-03-22T16:42:26Z)
A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
論文参考訳（メタデータ） (2022-10-27T13:24:08Z)
Switchable Self-attention Module [3.8992324495848356]
自己注意モジュールSEMを提案する。 SEMは、アテンションモジュールと代替アテンション演算子の入力情報に基づいて、自動的にアテンション演算子を選択し、統合してアテンションマップを計算することができる。 SEMの有効性は、広く使われているベンチマークデータセットと一般的な自己注意ネットワークに関する広範な実験によって実証されている。
論文参考訳（メタデータ） (2022-09-13T01:19:38Z)
Data-Informed Global Sparseness in Attention Mechanisms for Deep Neural Networks [33.07113523598028]
本研究では,アテンション・プルーニング(Attention Pruning,AP)を提案する。 APは、言語モデリングの注意計算の90%を節約し、機械翻訳とGLUEタスクの約50%を節約し、結果の品質を維持している。
論文参考訳（メタデータ） (2020-11-20T13:58:21Z)
Attention-Guided Network for Iris Presentation Attack Detection [13.875545441867137]
本稿では注意誘導型アイリス提示攻撃検出(AG-PAD)を提案する。 JHU-APLプロプライエタリデータセットとベンチマークのLivDet-Iris-2017データセットの両方を含む実験は、提案手法が有望な結果をもたらすことを示唆している。
論文参考訳（メタデータ） (2020-10-23T19:23:51Z)
Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
論文参考訳（メタデータ） (2020-07-13T02:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。