論文の概要: On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness,
and Semantic Evaluation
- arxiv url: http://arxiv.org/abs/2106.04753v1
- Date: Wed, 9 Jun 2021 00:49:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-11 08:13:46.347817
- Title: On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness,
and Semantic Evaluation
- Title(参考訳): NLPのためのサンプルベース説明法について:有効性、忠実性、意味的評価
- Authors: Wei Zhang, Ziming Huang, Yada Zhu, Guangnan Ye, Xiaodong Cui, Fan
Zhang
- Abstract要約: 我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。
本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
- 参考スコア(独自算出の注目度): 23.72825603188359
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the recent advances of natural language processing, the scale of the
state-of-the-art models and datasets is usually extensive, which challenges the
application of sample-based explanation methods in many aspects, such as
explanation interpretability, efficiency, and faithfulness. In this work, for
the first time, we can improve the interpretability of explanations by allowing
arbitrary text sequences as the explanation unit. On top of this, we implement
a hessian-free method with a model faithfulness guarantee. Finally, to compare
our method with the others, we propose a semantic-based evaluation metric that
can better align with humans' judgment of explanations than the widely adopted
diagnostic or re-training measures. The empirical results on multiple real data
sets demonstrate the proposed method's superior performance to popular
explanation techniques such as Influence Function or TracIn on semantic
evaluation.
- Abstract(参考訳): 自然言語処理の最近の進歩では、最先端のモデルやデータセットの規模が広くなり、説明解釈性、効率性、忠実性など、多くの面でサンプルベースの説明手法の適用に挑戦している。
本稿では,説明単位として任意のテキスト列を許容することで,説明の解釈可能性を向上させる。
さらに,モデルの忠実性を保証するため,ヘッセン自由法を実装した。
最後に,本手法を他の手法と比較するために,広く採用されている診断・再訓練尺度よりも,人間の説明判断に適合する意味に基づく評価指標を提案する。
複数の実データ集合に対する実験結果から,提案手法のセマンティック評価における影響関数やTracInなどの一般的な説明手法よりも優れた性能を示す。
関連論文リスト
- Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。
本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
論文 参考訳(メタデータ) (2024-04-03T22:39:33Z) - Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文 参考訳(メタデータ) (2024-01-22T16:25:27Z) - Ensemble Interpretation: A Unified Method for Interpretable Machine
Learning [1.276129213205911]
本稿では,新しい解釈可能な手法であるアンサンブル解釈について述べる。
実験の結果、アンサンブルの解釈はより安定しており、人間の経験や認知と一致していることがわかった。
アプリケーションとして,特徴選択にアンサンブル解釈を用い,それに対応する学習モデルの一般化性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-12-11T09:51:24Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳(メタデータ) (2023-05-26T16:04:28Z) - MACE: An Efficient Model-Agnostic Framework for Counterfactual
Explanation [132.77005365032468]
MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。
MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。
公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
論文 参考訳(メタデータ) (2022-05-31T04:57:06Z) - A Multilingual Perspective Towards the Evaluation of Attribution Methods
in Natural Language Inference [28.949004915740776]
本稿では,自然言語推論(NLI)タスクに対する帰属的手法を評価するための多言語的手法を提案する。
まず,単語アライメントに基づいて忠実度を測定するための新たな言語間戦略を導入する。
次に、異なる出力機構と集約手法を考慮し、帰属手法の包括的な評価を行う。
論文 参考訳(メタデータ) (2022-04-11T22:11:05Z) - Discriminative Attribution from Counterfactuals [64.94009515033984]
本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。
本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
論文 参考訳(メタデータ) (2021-09-28T00:53:34Z) - Obtaining Better Static Word Embeddings Using Contextual Embedding
Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。
副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文 参考訳(メタデータ) (2021-06-08T12:59:32Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳(メタデータ) (2020-09-25T12:01:53Z) - Evaluating Explainable AI: Which Algorithmic Explanations Help Users
Predict Model Behavior? [97.77183117452235]
我々は、モデル解釈性に対するアルゴリズム的説明の影響を分離するために、人体テストを実施している。
方法の有効性の明確な証拠はごく少数にみえる。
以上の結果から,説明がシミュラビリティにどのように影響するかの信頼性と包括的評価が得られた。
論文 参考訳(メタデータ) (2020-05-04T20:35:17Z) - The Explanation Game: Towards Prediction Explainability through Sparse
Communication [6.497816402045099]
我々は,説明責任の統一的な視点を,説明者と素人の間の問題として提供する。
このフレームワークを使って、説明の抽出にいくつかの先行したアプローチを比較します。
本稿では,選択的,スパースな注意力を用いて,説明可能性のための新しい組込み手法を提案する。
論文 参考訳(メタデータ) (2020-04-28T22:27:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。