論文の概要: Evaluating Saliency Explanations in NLP by Crowdsourcing

• arxiv url: http://arxiv.org/abs/2405.10767v1
• Date: Fri, 17 May 2024 13:27:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 16:03:21.650740
• Title: Evaluating Saliency Explanations in NLP by Crowdsourcing
• Title（参考訳）: クラウドソーシングによるNLPの相性説明の評価
• Authors: Xiaotian Lu, Jiyi Li, Zhen Wan, Xiaofeng Lin, Koh Takeuchi, Hisashi Kashima,
• Abstract要約: クラウドソーシングによるNLPのサリエンシ評価手法を提案する。 我々は,800名のクラウドワーカーを募集し,提案手法を用いて2つのデータセット上で7つのサリエンシ手法を実証的に評価した。 本研究では,サリエンシ法の性能を解析し,既存の自動評価法と比較し,サリエンシ法を用いた場合のNLPとコンピュータビジョン(CV)フィールドの顕著な差異を明らかにした。
• 参考スコア（独自算出の注目度）: 25.763227978763908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models have performed well on many NLP tasks. However, their internal mechanisms are typically difficult for humans to understand. The development of methods to explain models has become a key issue in the reliability of deep learning models in many important applications. Various saliency explanation methods, which give each feature of input a score proportional to the contribution of output, have been proposed to determine the part of the input which a model values most. Despite a considerable body of work on the evaluation of saliency methods, whether the results of various evaluation metrics agree with human cognition remains an open question. In this study, we propose a new human-based method to evaluate saliency methods in NLP by crowdsourcing. We recruited 800 crowd workers and empirically evaluated seven saliency methods on two datasets with the proposed method. We analyzed the performance of saliency methods, compared our results with existing automated evaluation methods, and identified notable differences between NLP and computer vision (CV) fields when using saliency methods. The instance-level data of our crowdsourced experiments and the code to reproduce the explanations are available at https://github.com/xtlu/lreccoling_evaluation.
• Abstract（参考訳）: ディープラーニングモデルは、多くのNLPタスクでうまく機能している。 しかし、その内部メカニズムは一般に人間が理解するのが困難である。 モデルを説明する手法の開発は、多くの重要なアプリケーションにおいてディープラーニングモデルの信頼性において重要な問題となっている。 入力のそれぞれの特徴を出力の寄与に比例したスコアを与える様々なサリエンシ説明法が提案され、モデルが最も評価する入力の一部を決定する。 評価方法の評価にかなりの努力を払っているにもかかわらず、様々な評価指標の結果が人間の認知と一致するかどうかは未解決のままである。 本研究では,クラウドソーシングによるNLPの相性評価手法を提案する。 我々は,800名のクラウドワーカーを募集し,提案手法を用いて2つのデータセット上で7つのサリエンシ手法を実証的に評価した。 本研究では,サリエンシ法の性能を解析し,既存の自動評価法と比較し,サリエンシ法を用いた場合のNLPとコンピュータビジョン(CV)フィールドの顕著な差異を明らかにした。 クラウドソースされた実験のインスタンスレベルのデータと説明を再現するコードはhttps://github.com/xtlu/lreccoling_evaluation.comで公開されています。

関連論文リスト

• BEExAI: Benchmark to Evaluate Explainable AI [0.9176056742068812]
  本稿では,ポストホックXAI手法の大規模比較を可能にするベンチマークツールであるBEExAIを提案する。 説明の質と正確性を測定するための信頼性の高い方法の必要性が重要になっていると論じる。
  論文  参考訳（メタデータ） (2024-07-29T11:21:17Z)
• Is Data Valuation Learnable and Interpretable? [3.9325957466009203]
  現在のデータ評価手法は、出力値の解釈可能性を無視している。 この研究は、データバリュエーションは学習可能か、解釈可能か、という重要な疑問に答えることを目的としている。
  論文  参考訳（メタデータ） (2024-06-03T08:13:47Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• Enabling Classifiers to Make Judgements Explicitly Aligned with Human Values [73.82043713141142]
  性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。 本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-14T09:10:49Z)
• On the Explainability of Natural Language Processing Deep Models [3.0052400859458586]
  これらの課題に対処し,自然言語処理(NLP)モデルについて十分な説明を行う手法が開発されている。 本研究は,NLP分野におけるExAI手法の民主化を目的として,NLPモデルにおけるモデル非依存およびモデル固有の説明可能性手法について調査する。
  論文  参考訳（メタデータ） (2022-10-13T11:59:39Z)
• Towards Better Understanding Attribution Methods [77.1487219861185]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
  論文  参考訳（メタデータ） (2022-05-20T20:50:17Z)
• FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding [89.92513889132825]
  本稿では,従来の評価手順を,テスト性能,開発-テスト相関,安定性の3つの重要な側面で改善する評価フレームワークを提案する。 評価フレームワークを実装したツールキットFewNLUと、最先端のメソッドをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2021-09-27T00:57:30Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Developing a Fidelity Evaluation Approach for Interpretable Machine Learning [2.2448567386846916]
  複雑なモデルの解釈性を改善するために、説明可能なAI(XAI)メソッドが使用される。 特に、ブラックボックスの説明の忠実さを評価するには、さらなる発展が必要である。 本評価は, 基礎となる予測モデルの内部メカニズム, 使用法の内部メカニズム, モデルおよびデータの複雑さが, すべて説明忠実性に影響を与えることを示唆している。
  論文  参考訳（メタデータ） (2021-06-16T00:21:16Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。