論文の概要: A Fine-grained Interpretability Evaluation Benchmark for Neural NLP

• arxiv url: http://arxiv.org/abs/2205.11097v1
• Date: Mon, 23 May 2022 07:37:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 17:06:07.923934
• Title: A Fine-grained Interpretability Evaluation Benchmark for Neural NLP
• Title（参考訳）: 神経nlpの細粒度解釈性評価ベンチマーク
• Authors: Lijie Wang, Yaozong Shen, Shuyuan Peng, Shuai Zhang, Xinyan Xiao, Hao Liu, Hongxuan Tang, Ying Chen, Hua Wu, Haifeng Wang
• Abstract要約: このベンチマークでは、感情分析、テキスト類似性、読解の3つのNLPタスクをカバーしている。 十分にコンパクトで包括的に注釈付けされたトークンレベルの合理性を提供します。 3つのサリエンシ手法を用いた3つの典型的なモデルについて実験を行い、その強度と弱さを解釈可能性の観点から明らかにした。
• 参考スコア（独自算出の注目度）: 44.08113828762984
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While there is increasing concern about the interpretability of neural models, the evaluation of interpretability remains an open problem, due to the lack of proper evaluation datasets and metrics. In this paper, we present a novel benchmark to evaluate the interpretability of both neural models and saliency methods. This benchmark covers three representative NLP tasks: sentiment analysis, textual similarity and reading comprehension, each provided with both English and Chinese annotated data. In order to precisely evaluate the interpretability, we provide token-level rationales that are carefully annotated to be sufficient, compact and comprehensive. We also design a new metric, i.e., the consistency between the rationales before and after perturbations, to uniformly evaluate the interpretability of models and saliency methods on different tasks. Based on this benchmark, we conduct experiments on three typical models with three saliency methods, and unveil their strengths and weakness in terms of interpretability. We will release this benchmark at \url{https://xyz} and hope it can facilitate the research in building trustworthy systems.
• Abstract（参考訳）: ニューラルモデルの解釈可能性に関する懸念が高まっているが、適切な評価データセットやメトリクスが欠如しているため、解釈可能性の評価は未解決の問題である。 本稿では,ニューラルモデルとサリエンシー法の両方の解釈性を評価するための新しいベンチマークを提案する。 このベンチマークでは、感情分析、テキスト類似性、読解の3つの代表的NLPタスクを取り上げ、それぞれに英語と中国語の注釈付きデータを提供する。 解釈可能性を正確に評価するために,注意深い注釈付きで,コンパクトで包括的なトークンレベルの合理性を提供する。 また,摂動前後の理性間の一貫性という新しい指標をデザインし,異なるタスクにおけるモデルの解釈可能性と塩分法を一様に評価した。 このベンチマークに基づいて, 3つのサリーエンシー法を用いた3つの典型的なモデル実験を行い, その強みと弱さを解釈可能性の観点から明らかにする。 私たちはこのベンチマークを \url{https://xyz} でリリースし、信頼できるシステム構築における研究を促進することを期待しています。

関連論文リスト

• InterpretCC: Intrinsic User-Centric Interpretability through Global Mixture of Experts [31.738009841932374]
  ニューラルネットワークの解釈性は、3つの重要な要件間のトレードオフである。 本稿では,人間中心の解釈可能性を保証する,解釈可能なニューラルネットワークのファミリであるInterpretCCを提案する。
  論文  参考訳（メタデータ） (2024-02-05T11:55:50Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Quantifying the Plausibility of Context Reliance in Neural Machine Translation [25.29330352252055]
  我々は、PECoRe(Context Reliance)の可塑性評価を導入する。 PECoReは、言語モデル世代におけるコンテキスト使用量の定量化を目的として設計されたエンドツーエンドの解釈可能性フレームワークである。 我々は、文脈対応機械翻訳モデルの妥当性を定量化するために、pecoreを使用します。
  論文  参考訳（メタデータ） (2023-10-02T13:26:43Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Beyond the Tip of the Iceberg: Assessing Coherence of Text Classifiers [0.05857406612420462]
  大規模で事前訓練された言語モデルは、既存の言語理解タスクにおいて人間のレベルと超人的精度を達成する。 予測コヒーレンスの新しい尺度による評価システムを提案する。
  論文  参考訳（メタデータ） (2021-09-10T15:04:23Z)
• On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
  ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。 これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。 これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
  論文  参考訳（メタデータ） (2021-04-18T09:19:44Z)
• Evaluating Saliency Methods for Neural Language Models [9.309351023703018]
  サリエンシ法はニューラルネットワーク予測の解釈に広く用いられている。 同じモデルによって行われた同じ予測の解釈でさえ、異なるサリエンシー方法のバリエーションは一致しません。 我々は,NLPモデルの基本カテゴリであるニューラル言語モデルに基づいて,サリエンシ手法の包括的,定量的評価を行う。
  論文  参考訳（メタデータ） (2021-04-12T21:19:48Z)
• Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond [49.93153180169685]
  一般に混同される2つの基本的な概念(解釈と解釈可能性)を紹介・明らかにする。 我々は,新しい分類法を提案することにより,異なる視点から,最近のいくつかの解釈アルゴリズムの設計を詳細に述べる。 信頼される」解釈アルゴリズムを用いてモデルの解釈可能性を評価する上での既存の作業をまとめる。
  論文  参考訳（メタデータ） (2021-03-19T08:40:30Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。