論文の概要: Enjoy the Salience: Towards Better Transformer-based Faithful Explanations with Word Salience

• arxiv url: http://arxiv.org/abs/2108.13759v1
• Date: Tue, 31 Aug 2021 11:21:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 21:47:07.559816
• Title: Enjoy the Salience: Towards Better Transformer-based Faithful Explanations with Word Salience
• Title（参考訳）: 敬礼を楽しむ: 言葉敬礼によるトランスフォーマーベースの忠実な説明
• Authors: George Chrysostomou and Nikolaos Aletras
• Abstract要約: 本研究では,TextRankを用いて抽出した有能な情報に近づき,訓練中に多頭部注意機構を誘導する補助的損失関数を提案する。 5つのデータセットにわたる説明の忠実性の実験は、SaLossでトレーニングされたモデルが一貫してより忠実な説明を提供することを示している。 さらに、下流タスクにおいて、後者がより高い予測性能をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 9.147707153504117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained transformer-based models such as BERT have demonstrated state-of-the-art predictive performance when adapted into a range of natural language processing tasks. An open problem is how to improve the faithfulness of explanations (rationales) for the predictions of these models. In this paper, we hypothesize that salient information extracted a priori from the training data can complement the task-specific information learned by the model during fine-tuning on a downstream task. In this way, we aim to help BERT not to forget assigning importance to informative input tokens when making predictions by proposing SaLoss; an auxiliary loss function for guiding the multi-head attention mechanism during training to be close to salient information extracted a priori using TextRank. Experiments for explanation faithfulness across five datasets, show that models trained with SaLoss consistently provide more faithful explanations across four different feature attribution methods compared to vanilla BERT. Using the rationales extracted from vanilla BERT and SaLoss models to train inherently faithful classifiers, we further show that the latter result in higher predictive performance in downstream tasks.
• Abstract（参考訳）: BERTのような事前訓練されたトランスフォーマーベースモデルは、自然言語処理タスクに適応する際に最先端の予測性能を示す。 オープンな問題は、これらのモデルの予測に対する説明(理論)の忠実性を改善する方法である。 本稿では,学習データから事前情報を抽出することで,下流課題の微調整中にモデルが学習したタスク固有の情報を補うことができると仮定する。 そこで,本研究では,SaLossの提案による予測を行う際に,情報入力トークンの代入の重要性を忘れないようにすることを目的としている。これは,TextRankを用いて抽出した事前情報に近接する訓練中に,多頭部注意機構を誘導する補助的損失関数である。 SaLossでトレーニングされたモデルは、バニラBERTと比較して、4つの異なる特徴属性メソッドに一貫して忠実な説明を提供する。 さらに,vanilla bert および saloss モデルから抽出した理論を用いて固有に忠実な分類器を訓練することにより,下流タスクの予測性能が向上することを示す。

関連論文リスト

• Towards Faithful Explanations for Text Classification with Robustness Improvement and Explanation Guided Training [30.626080706755822]
  特徴属性法は、重要な入力トークンをモデル予測の説明として強調する。 近年の研究では、これらの手法による説明は、忠実で堅牢であるという課題に直面している。 本稿では,テキスト分類のためのロバスト性向上と説明指導による,より忠実な説明(REGEX)への指導手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T13:07:07Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Harnessing the Power of Explanations for Incremental Training: A LIME-Based Approach [6.244905619201076]
  この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。 このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。 提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2022-11-02T18:16:17Z)
• Improving the Adversarial Robustness of NLP Models by Information Bottleneck [112.44039792098579]
  非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。 本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。 情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-11T12:12:20Z)
• BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation [92.75908003533736]
  本稿では,自己教師型入力表現を用いたフレームワークレベルの頑健なシーケンス・ツー・シーケンス学習手法BLISSを提案する。 我々は,機械翻訳,文法的誤り訂正,テキスト要約など,BLISSの様々なタスクにおける有効性を検証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-04-16T16:19:47Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Explain and Predict, and then Predict Again [6.865156063241553]
  説明生成フェーズにおけるマルチタスク学習を用いたExPredを、効果的なトレードオフ説明と予測損失として提案します。 3つの多様な言語データセットに対するアプローチを幅広く評価しています。
  論文  参考訳（メタデータ） (2021-01-11T19:36:52Z)
• Inserting Information Bottlenecks for Attribution in Transformers [46.77580577396633]
  ブラックボックスモデルにおける各特徴のアトリビューションを分析するために,情報ボトルネックを適用した。 本手法の有効性を帰属性の観点から示し,情報がどのように層を流れるのかを考察する。
  論文  参考訳（メタデータ） (2020-12-27T00:35:43Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。