論文の概要: Model Explainability in Deep Learning Based Natural Language Processing

• arxiv url: http://arxiv.org/abs/2106.07410v1
• Date: Mon, 14 Jun 2021 13:23:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:33:08.768192
• Title: Model Explainability in Deep Learning Based Natural Language Processing
• Title（参考訳）: ディープラーニングに基づく自然言語処理におけるモデル説明可能性
• Authors: Shafie Gholizadeh and Nengfeng Zhou
• Abstract要約: 我々は、一般的な機械学習モデル説明可能性方法論をレビューし、比較した。 NLP分類モデルにNLP説明可能性手法の1つを適用した。 我々は,NLPモデルの特質から,いくつかの共通点を明らかにした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) model explainability has received growing attention, especially in the area related to model risk and regulations. In this paper, we reviewed and compared some popular ML model explainability methodologies, especially those related to Natural Language Processing (NLP) models. We then applied one of the NLP explainability methods Layer-wise Relevance Propagation (LRP) to a NLP classification model. We used the LRP method to derive a relevance score for each word in an instance, which is a local explainability. The relevance scores are then aggregated together to achieve global variable importance of the model. Through the case study, we also demonstrated how to apply the local explainability method to false positive and false negative instances to discover the weakness of a NLP model. These analysis can help us to understand NLP models better and reduce the risk due to the black-box nature of NLP models. We also identified some common issues due to the special natures of NLP models and discussed how explainability analysis can act as a control to detect these issues after the model has been trained.
• Abstract（参考訳）: 機械学習(ML)モデル説明容易性は特にモデルリスクと規制に関連する領域で注目されている。 本稿では,一般的なMLモデル説明可能性方法論,特に自然言語処理(NLP)モデルについてレビューし,比較する。 次に, nlp分類モデルに対して, 層間相関伝播法 (lrp) を適用した。 我々は,LRP法を用いて,各単語の関連点の導出を行った。 次に関連性スコアを集約し、モデルのグローバル変数重要度を達成する。 ケーススタディを通じて,NLPモデルの弱点を発見するために,局所的説明可能性法を偽陽性および偽陰性事例に適用する方法を実証した。 これらの分析は、NLPモデルのブラックボックスの性質により、NLPモデルをよりよく理解し、リスクを低減するのに役立つ。 また,NLPモデルの特殊性に起因する一般的な問題を明らかにし,モデルが訓練された後にこれらの問題を検出する制御として,説明可能性分析がどのように機能するかについて議論した。

関連論文リスト

• Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation [15.254775341371364]
  ゼロショット対実生成に大規模言語モデルを活用する可能性について検討する。 我々は,この生成を容易にするための構造化パイプラインを提案し,近年のLLMにおける命令追従とテキスト理解の能力を効果的に活用できるという仮説を立てた。
  論文  参考訳（メタデータ） (2024-05-08T03:57:45Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Large Language Models as Annotators: Enhancing Generalization of NLP Models at Minimal Cost [6.662800021628275]
  入力のアノテートやNLPモデルの一般化のための大言語モデル(LLM)について検討する。 ベースモデルと微調整NLPモデルとの予測スコアの差に基づくサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-27T19:29:55Z)
• KNOW How to Make Up Your Mind! Adversarially Detecting and Alleviating Inconsistencies in Natural Language Explanations [52.33256203018764]
  不整合性NLEを検出するために既存の敵攻撃を大幅に改善するために,外部知識ベースを活用する。 高いNLE品質のモデルが必ずしも矛盾を生じさせるとは限らないことを示す。
  論文  参考訳（メタデータ） (2023-06-05T15:51:58Z)
• On the Explainability of Natural Language Processing Deep Models [3.0052400859458586]
  これらの課題に対処し,自然言語処理(NLP)モデルについて十分な説明を行う手法が開発されている。 本研究は,NLP分野におけるExAI手法の民主化を目的として,NLPモデルにおけるモデル非依存およびモデル固有の説明可能性手法について調査する。
  論文  参考訳（メタデータ） (2022-10-13T11:59:39Z)
• Towards Faithful Model Explanation in NLP: A Survey [48.690624266879155]
  エンドツーエンドのニューラルネットワーク処理(NLP)モデルを理解するのは非常に難しい。 モデル説明の一側面は忠実さであり、すなわち、説明はモデルの予測の背後にある推論過程を正確に表現すべきである。 我々は,NLPにおける110以上のモデル説明法を忠実度レンズを用いてレビューした。
  論文  参考訳（メタデータ） (2022-09-22T21:40:51Z)
• Interpreting Deep Learning Models in Natural Language Processing: A Review [33.80537635077772]
  ニューラルネットワークモデルに対する長年にわたる批判は、解釈可能性の欠如である。 本研究では,NLPにおけるニューラルモデルに対する様々な解釈手法について概説する。
  論文  参考訳（メタデータ） (2021-10-20T10:17:04Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)
• Considering Likelihood in NLP Classification Explanations with Occlusion and Language Modeling [11.594541142399223]
  オクルージョン(Occlusion)は、独立した言語データに関する説明を提供する、よく確立された方法である。 現在のOcclusion-based methodは、しばしば無効または構文的に誤りのある言語データを生成する。 本稿では,Occlusion と言語モデルを組み合わせた新しい説明手法 OLM を提案する。
  論文  参考訳（メタデータ） (2020-04-21T10:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。