論文の概要: Improving the Faithfulness of Attention-based Explanations with Task-specific Information for Text Classification

• arxiv url: http://arxiv.org/abs/2105.02657v2
• Date: Fri, 7 May 2021 15:58:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 00:29:33.911608
• Title: Improving the Faithfulness of Attention-based Explanations with Task-specific Information for Text Classification
• Title（参考訳）: テキスト分類のためのタスク固有情報を用いた注意に基づく説明の忠実度向上
• Authors: George Chrysostomou and Nikolaos Aletras
• Abstract要約: タスク固有の非コンテキスト化情報を学習し,アテンション重み付けをスケールする新しいタスクスケーリング(tasc)機構を提案する。 TaScは、広く使用されている3つの解釈可能性技術と比較して、より忠実な注意に基づく説明を提供します。
• 参考スコア（独自算出の注目度）: 9.147707153504117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network architectures in natural language processing often use attention mechanisms to produce probability distributions over input token representations. Attention has empirically been demonstrated to improve performance in various tasks, while its weights have been extensively used as explanations for model predictions. Recent studies (Jain and Wallace, 2019; Serrano and Smith, 2019; Wiegreffe and Pinter, 2019) have showed that it cannot generally be considered as a faithful explanation (Jacovi and Goldberg, 2020) across encoders and tasks. In this paper, we seek to improve the faithfulness of attention-based explanations for text classification. We achieve this by proposing a new family of Task-Scaling (TaSc) mechanisms that learn task-specific non-contextualised information to scale the original attention weights. Evaluation tests for explanation faithfulness, show that the three proposed variants of TaSc improve attention-based explanations across two attention mechanisms, five encoders and five text classification datasets without sacrificing predictive performance. Finally, we demonstrate that TaSc consistently provides more faithful attention-based explanations compared to three widely-used interpretability techniques.
• Abstract（参考訳）: 自然言語処理におけるニューラルネットワークアーキテクチャは、しばしば注意機構を用いて入力トークン表現上の確率分布を生成する。 様々なタスクのパフォーマンスを改善するために実験的に注意が払われているが、モデル予測の説明として重みが広く使われている。 最近の研究(Jain and Wallace, 2019; Serrano and Smith, 2019; Wiegreffe and Pinter, 2019)では、エンコーダとタスク間の忠実な説明(Jacovi and Goldberg, 2020)は一般的には考えられないことが示されている。 本稿では,テキスト分類における注意に基づく説明の忠実性の向上を目指す。 本研究では,タスク固有の非コンテクスト化情報を学習し,本来の注意重みを拡大するタスクスケーリング(TaSc)機構を提案する。 説明忠実度評価テストの結果,提案した3種類のTaScは,2つの注意機構,5つのエンコーダ,5つのテキスト分類データセット間で,予測性能を犠牲にすることなく,注意に基づく説明を改善することがわかった。 最後に,tascは,広く使われている3つの解釈手法と比較して,より忠実な注意に基づく説明を一貫して提供できることを実証する。

関連論文リスト

• Text Classification Based on Knowledge Graphs and Improved Attention Mechanism [12.008192698720947]
  モデルは文字レベルと単語レベルの両方で動作し、概念を統合することで理解を深める。 その性能はAGNews、Ohsumed、TagMyNewsなどのデータセットで実証されており、それぞれ75.1%、58.7%、68.5%の精度が達成されている。
  論文  参考訳（メタデータ） (2024-01-07T22:20:55Z)
• Generalized Label-Efficient 3D Scene Parsing via Hierarchical Feature Aligned Pre-Training and Region-Aware Fine-tuning [55.517000360348725]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 室内と屋外の両方で実験を行ったところ、データ効率のよい学習とオープンワールドの複数ショット学習の両方において、我々のアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• Naturalness of Attention: Revisiting Attention in Code Language Models [3.756550107432323]
  CodeBERTのようなコードの言語モデルは、高度なソースコード表現を学習する機能を提供するが、その不透明さは、取得したプロパティを理解する上で障壁となる。 本研究は、注意重みを超える注意機構のこれまで無視されていた要因について、いくつかの光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-11-22T16:34:12Z)
• Knowledge-Aware Prompt Tuning for Generalizable Vision-Language Models [64.24227572048075]
  本稿では,視覚言語モデルのためのKnowledge-Aware Prompt Tuning(KAPT)フレームワークを提案する。 我々のアプローチは、人間の知性からインスピレーションを得ており、外部知識は、通常、オブジェクトの新たなカテゴリを認識するために組み込まれています。
  論文  参考訳（メタデータ） (2023-08-22T04:24:45Z)
• Perturbation-based Self-supervised Attention for Attention Bias in Text Classification [31.144857032681905]
  本稿では,摂動に基づく自己監督型アテンションアプローチを提案し,注意学習の指導を行う。 文中のすべての単語に、その意味や予測を変えることなく、可能な限り多くのノイズを加えます。 3つのテキスト分類タスクの実験結果から,本手法は現在の注目モデルの性能を大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-05-25T03:18:18Z)
• Fooling Explanations in Text Classifiers [42.49606659285249]
  テキスト入力サンプルを非知覚的に変更する新しい説明攻撃アルゴリズムであるTextExplanationer (TEF) を導入する。 TEFは変化しない入力属性と摂動入力属性の相関を著しく減少させる。 また,TAFの摂動は,対象モデルと説明法が不明なシナリオにおいても有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-07T10:58:08Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。