論文の概要: Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training

• arxiv url: http://arxiv.org/abs/2009.12064v2
• Date: Thu, 1 Jul 2021 02:31:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 22:14:47.287171
• Title: Attention Meets Perturbations: Robust and Interpretable Attention with Adversarial Training
• Title（参考訳）: 注意と誘惑--対人訓練によるロバストで解釈可能な注意
• Authors: Shunsuke Kitada and Hitoshi Iyatomi
• Abstract要約: 我々は、自然言語処理タスクのための一般的な訓練手法を提案し、例えば、注意のためのAT(Attention AT)と、注意のためのより解釈可能なAT(Attention iAT)を提案する。 提案手法は,ATによる予測性能とモデル解釈性を改善した。
• 参考スコア（独自算出の注目度）: 7.106986689736828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although attention mechanisms have been applied to a variety of deep learning models and have been shown to improve the prediction performance, it has been reported to be vulnerable to perturbations to the mechanism. To overcome the vulnerability to perturbations in the mechanism, we are inspired by adversarial training (AT), which is a powerful regularization technique for enhancing the robustness of the models. In this paper, we propose a general training technique for natural language processing tasks, including AT for attention (Attention AT) and more interpretable AT for attention (Attention iAT). The proposed techniques improved the prediction performance and the model interpretability by exploiting the mechanisms with AT. In particular, Attention iAT boosts those advantages by introducing adversarial perturbation, which enhances the difference in the attention of the sentences. Evaluation experiments with ten open datasets revealed that AT for attention mechanisms, especially Attention iAT, demonstrated (1) the best performance in nine out of ten tasks and (2) more interpretable attention (i.e., the resulting attention correlated more strongly with gradient-based word importance) for all tasks. Additionally, the proposed techniques are (3) much less dependent on perturbation size in AT. Our code is available at https://github.com/shunk031/attention-meets-perturbation
• Abstract（参考訳）: 注意機構は様々なディープラーニングモデルに適用され、予測性能を向上させることが示されているが、このメカニズムに対する摂動に弱いことが報告されている。 このメカニズムにおける摂動の脆弱性を克服するために、モデルの堅牢性を高めるための強力な正規化手法である敵訓練(AT)に着想を得た。 本稿では,注意用AT(注意用AT)や注意用AT(注意用AT)など,自然言語処理タスクの一般的な訓練手法を提案する。 提案手法は,ATによる予測性能とモデル解釈性を改善した。 特に、注意iATは、文の注意の差を増大させる対人摂動を導入することにより、これらの利点を高める。 10個のオープンデータセットを用いた評価実験により,(1)注意機構,特に注意iATは,(1)10タスク中9タスクで最高のパフォーマンスを示し,(2)より解釈可能な注意力(すなわち,結果の注意力は,すべてのタスクにおいて勾配に基づく単語重要度と強く相関している)を示した。 さらに,提案手法は,atにおける摂動サイズに依存しない。 私たちのコードはhttps://github.com/shunk031/attention-meets-perturbationで利用可能です。

関連論文リスト

• Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement [68.31147013783387]
  我々は,アテンション機構がパッチベースの敵攻撃に弱いことを観察した。 本稿では,意味的セグメンテーションモデルの堅牢性を改善するために,ロバスト注意機構(RAM)を提案する。
  論文  参考訳（メタデータ） (2024-01-03T13:58:35Z)
• Perturbation-based Self-supervised Attention for Attention Bias in Text Classification [31.144857032681905]
  本稿では,摂動に基づく自己監督型アテンションアプローチを提案し,注意学習の指導を行う。 文中のすべての単語に、その意味や予測を変えることなく、可能な限り多くのノイズを加えます。 3つのテキスト分類タスクの実験結果から,本手法は現在の注目モデルの性能を大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-05-25T03:18:18Z)
• Attention mechanisms for physiological signal deep learning: which attention should we take? [0.0]
  我々は,4つのアテンション機構(例えば,圧縮励起,非局所的,畳み込みブロックアテンションモジュール,マルチヘッド自己アテンション)と3つの畳み込みニューラルネットワーク(CNN)アーキテクチャを実験的に解析した。 生理信号深層学習モデルの性能と収束性に関する複数の組み合わせを評価した。
  論文  参考訳（メタデータ） (2022-07-04T07:24:08Z)
• Self-Supervised Implicit Attention: Guided Attention by The Model Itself [1.3406858660972554]
  我々は、深層ニューラルネットワークモデルに適応的に誘導し、モデル自体の特性を活用する新しいアプローチである、自己監視インシシット注意(SSIA:Self-Supervised Implicit Attention)を提案する。 SSIAAは、推論中に余分なパラメータ、計算、メモリアクセスコストを必要としない新しいアテンションメカニズムである。 私たちの実装はGitHubで公開されます。
  論文  参考訳（メタデータ） (2022-06-15T10:13:34Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• More Than Just Attention: Learning Cross-Modal Attentions with Contrastive Constraints [63.08768589044052]
  本稿では,コントラストコンテンツリソーシング (CCR) とコントラストコンテンツスワッピング (CCS) の制約を提案する。 CCRとCCSの制約は、明示的な注意アノテーションを必要とせず、対照的な学習方法で注意モデルのトレーニングを監督する。 Flickr30kとMS-COCOのデータセットの実験は、これらの注意制約を2つの最先端の注意ベースモデルに統合することで、モデルのパフォーマンスが向上することを示した。
  論文  参考訳（メタデータ） (2021-05-20T08:48:10Z)
• Making Attention Mechanisms More Robust and Interpretable with Virtual Adversarial Training for Semi-Supervised Text Classification [9.13755431537592]
  VAT(Virtual Adversarial Training)に基づく注意メカニズムの新たな一般トレーニング手法を提案する。 VATは、従来の研究で報告された注意機構が摂動に弱いという半教師付き設定で、ラベルのないデータから敵の摂動を計算することができる。
  論文  参考訳（メタデータ） (2021-04-18T07:51:45Z)
• Cost-effective Interactive Attention Learning with Neural Attention Processes [79.8115563067513]
  対話型注意学習(Interactive Attention Learning, IAL)と呼ばれる対話型学習フレームワークを提案する。 IALは、人間のアノテーションが不足しているため、過度に適合する傾向がある。 我々は,サンプル効率のよい注意機構と,コスト効率のよいインスタンスと機能の再ランクアルゴリズムを提案することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2020-06-09T17:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。