論文の概要: Perturbation-based Self-supervised Attention for Attention Bias in Text Classification

• arxiv url: http://arxiv.org/abs/2305.15684v1
• Date: Thu, 25 May 2023 03:18:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:43:47.364303
• Title: Perturbation-based Self-supervised Attention for Attention Bias in Text Classification
• Title（参考訳）: テキスト分類における注意バイアスに対する摂動に基づく自己監督的注意
• Authors: Huawen Feng, Zhenxi Lin, Qianli Ma
• Abstract要約: 本稿では,摂動に基づく自己監督型アテンションアプローチを提案し,注意学習の指導を行う。 文中のすべての単語に、その意味や予測を変えることなく、可能な限り多くのノイズを加えます。 3つのテキスト分類タスクの実験結果から,本手法は現在の注目モデルの性能を大幅に向上させることができることが示された。
• 参考スコア（独自算出の注目度）: 31.144857032681905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In text classification, the traditional attention mechanisms usually focus too much on frequent words, and need extensive labeled data in order to learn. This paper proposes a perturbation-based self-supervised attention approach to guide attention learning without any annotation overhead. Specifically, we add as much noise as possible to all the words in the sentence without changing their semantics and predictions. We hypothesize that words that tolerate more noise are less significant, and we can use this information to refine the attention distribution. Experimental results on three text classification tasks show that our approach can significantly improve the performance of current attention-based models, and is more effective than existing self-supervised methods. We also provide a visualization analysis to verify the effectiveness of our approach.
• Abstract（参考訳）: テキスト分類では、従来の注意機構は通常、頻繁な単語に重きを置きすぎ、学習するには広範囲のラベル付きデータが必要である。 本稿では,アノテーションのオーバーヘッドを伴わずに注意学習を指導するための摂動型自己教師付き注意手法を提案する。 具体的には、文中のすべての単語に可能な限り多くのノイズを加え、その意味や予測を変更します。 我々は、より多くのノイズを許容する単語は重要度が低く、この情報を用いて注意分布を洗練できると仮定する。 3つのテキスト分類タスクにおける実験結果は,現在の注意に基づくモデルの性能を著しく向上させ,既存の自己教師あり手法よりも効果的であることを示す。 また,提案手法の有効性を検証するための可視化分析を行う。

関連論文リスト

• Is Attention Interpretation? A Quantitative Assessment On Sets [0.0]
  集合機械学習の文脈における注意の解釈可能性について検討する。 注意分布は、個々のインスタンスの相対的な重要性を反映していることが多い。 我々は、注意に基づく説明を誤解させるリスクを最小限に抑えるためにアンサンブルを使うことを提案する。
  論文  参考訳（メタデータ） (2022-07-26T16:25:38Z)
• On Guiding Visual Attention with Language Specification [76.08326100891571]
  注意をそらすのではなく,タスク関連機能に分類証拠を限定するためのアドバイスとして,ハイレベルな言語仕様を用いる。 この方法で空間的注意を監督することは、偏りのあるノイズのあるデータを用いた分類タスクの性能を向上させる。
  論文  参考訳（メタデータ） (2022-02-17T22:40:19Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• Is Sparse Attention more Interpretable? [52.85910570651047]
  我々は,空間が注意力を説明可能性ツールとして活用する能力にどのように影響するかを検討する。 入力とインデックス付き中間表現の間には弱い関係しか存在しません。 この設定では、疎度を誘導することで、モデルの振る舞いを理解するためのツールとして注意が使用できることが、より確実になる可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-06-02T11:42:56Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Attention Flows: Analyzing and Comparing Attention Mechanisms in Language Models [5.866941279460248]
  注意に基づく言語モデルにおける微調整を理解するための視覚分析手法を提案する。 私たちの視覚化であるAttention Flowsは、Transformerベースの言語モデルにおいて、レイヤ内のクエリ、トレース、関心の比較をサポートするように設計されています。
  論文  参考訳（メタデータ） (2020-09-03T19:56:30Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。