論文の概要: QUACKIE: A NLP Classification Task With Ground Truth Explanations

• arxiv url: http://arxiv.org/abs/2012.13190v2
• Date: Sun, 27 Dec 2020 18:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 08:25:55.399263
• Title: QUACKIE: A NLP Classification Task With Ground Truth Explanations
• Title（参考訳）: QUICKIE: 地上の真実を解説したNLP分類タスク
• Authors: Yves Rychener, Xavier Renard, Djam\'e Seddah, Pascal Frossard, Marcin Detyniecki
• Abstract要約: 質問応答データセットを分散することにより,特定の分類タスクを定式化する。 このカスタム分類タスクでは、分類問題の定義から解釈可能な基底真理が直接発生します。 この手法を用いてベンチマークを提案し、NLP解釈可能性に関する今後の研究の基礎を築く。
• 参考スコア（独自算出の注目度）: 45.44406712366411
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NLP Interpretability aims to increase trust in model predictions. This makes evaluating interpretability approaches a pressing issue. There are multiple datasets for evaluating NLP Interpretability, but their dependence on human provided ground truths raises questions about their unbiasedness. In this work, we take a different approach and formulate a specific classification task by diverting question-answering datasets. For this custom classification task, the interpretability ground-truth arises directly from the definition of the classification problem. We use this method to propose a benchmark and lay the groundwork for future research in NLP interpretability by evaluating a wide range of current state of the art methods.
• Abstract（参考訳）: NLP解釈可能性は、モデル予測における信頼を高めることを目的としている。 これにより、解釈可能性の評価がプレッシャー問題になる。 nlpの解釈性を評価するデータセットは複数存在するが、人間に提供された根拠の真理への依存は、その不偏性に関する疑問を提起する。 本研究では,質問応答データセットを分散させることにより,異なるアプローチで特定の分類タスクを定式化する。 このカスタム分類タスクでは、解釈可能性の基盤は分類問題の定義から直接生じる。 我々は,この手法を用いて,NLPの解釈可能性に関する今後の研究の基盤となるベンチマークを提案し,技術手法の幅広い現状を評価する。

関連論文リスト

• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Personalized Interpretable Classification [8.806213269230057]
  我々は、新たなデータマイニング問題として、パーソナライズされた解釈可能な分類を正式に導入する第一歩を踏み出します。 実データ集合に関する一連の実証的研究を行う。 我々のアルゴリズムは、これら最先端(SOTA)の解釈可能な分類器と同じレベルの予測精度を達成できる。
  論文  参考訳（メタデータ） (2023-02-06T01:59:16Z)
• Towards Human-Centred Explainability Benchmarks For Text Classification [4.393754160527062]
  本稿では,テキスト分類の妥当性を評価するために,テキスト分類ベンチマークを拡張することを提案する。 有効な説明を行う能力について客観的に評価する上での課題について検討する。 我々は、これらのベンチマークを人間中心のアプリケーションに基礎を置くことを提案する。
  論文  参考訳（メタデータ） (2022-11-10T09:52:31Z)
• A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing [68.37496795076203]
  非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。 まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。 サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:40Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Multitask Learning for Class-Imbalanced Discourse Classification [74.41900374452472]
  マルチタスクアプローチは,現在のベンチマークで7%のマイクロf1コアを改善できることを示す。 また,NLPにおける資源不足問題に対処するための追加手法の比較検討を行った。
  論文  参考訳（メタデータ） (2021-01-02T07:13:41Z)
• An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
  我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。 これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。 この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
  論文  参考訳（メタデータ） (2020-11-28T00:46:43Z)
• Interpretation of NLP models through input marginalization [28.031961925541466]
  入力の各トークンを消去した後の予測確率の変化を測定することによって予測を解釈する手法が提案されている。 既存のメソッドは、それぞれのトークンを予め定義された値(つまりゼロ)で置き換えるので、結果の文はトレーニングデータ分布から外れ、誤解を招く解釈をもたらす。 本研究では,既存の解釈手法によって引き起こされるアウト・オブ・ディストリビューション問題を提起し,その対策を提案する。 感情分析や自然言語推論のために訓練された様々なNLPモデルを,提案手法を用いて解釈する。
  論文  参考訳（メタデータ） (2020-10-27T01:40:41Z)
• A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
  本稿では,VisDialデータセットの改訂評価手法を提案する。 モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。 DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
  論文  参考訳（メタデータ） (2020-04-20T13:26:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。