論文の概要: Considering Likelihood in NLP Classification Explanations with Occlusion and Language Modeling

• arxiv url: http://arxiv.org/abs/2004.09890v1
• Date: Tue, 21 Apr 2020 10:37:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 05:52:36.749317
• Title: Considering Likelihood in NLP Classification Explanations with Occlusion and Language Modeling
• Title（参考訳）: 咬合と言語モデルを用いたnlp分類の妥当性の検討
• Authors: David Harbecke, Christoph Alt
• Abstract要約: オクルージョン(Occlusion)は、独立した言語データに関する説明を提供する、よく確立された方法である。 現在のOcclusion-based methodは、しばしば無効または構文的に誤りのある言語データを生成する。 本稿では,Occlusion と言語モデルを組み合わせた新しい説明手法 OLM を提案する。
• 参考スコア（独自算出の注目度）: 11.594541142399223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, state-of-the-art NLP models gained an increasing syntactic and semantic understanding of language, and explanation methods are crucial to understand their decisions. Occlusion is a well established method that provides explanations on discrete language data, e.g. by removing a language unit from an input and measuring the impact on a model's decision. We argue that current occlusion-based methods often produce invalid or syntactically incorrect language data, neglecting the improved abilities of recent NLP models. Furthermore, gradient-based explanation methods disregard the discrete distribution of data in NLP. Thus, we propose OLM: a novel explanation method that combines occlusion and language models to sample valid and syntactically correct replacements with high likelihood, given the context of the original input. We lay out a theoretical foundation that alleviates these weaknesses of other explanation methods in NLP and provide results that underline the importance of considering data likelihood in occlusion-based explanation.
• Abstract（参考訳）: 近年、最先端のNLPモデルは言語の構文的・意味的理解が高まり、その決定を理解する上では説明法が不可欠である。 オクルージョンは、例えば、入力から言語単位を取り除き、モデルの決定への影響を測定することによって、離散的な言語データの説明を提供する、確立された方法である。 我々は,近年のNLPモデルの能力向上を無視して,無効あるいは構文的に誤った言語データを生成する場合が多いことを論じる。 さらに、勾配に基づく説明法は、NLPにおけるデータの離散分布を無視する。 そこで本研究では,オクルージョンと言語モデルを組み合わせた新しい説明手法OLMを提案する。 我々は,NLPにおける他の説明手法の弱点を緩和する理論基盤を構築し,オクルージョンに基づく説明において,データ可能性を考慮することが重要であることを示す。

関連論文リスト

• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Model Explainability in Deep Learning Based Natural Language Processing [0.0]
  我々は、一般的な機械学習モデル説明可能性方法論をレビューし、比較した。 NLP分類モデルにNLP説明可能性手法の1つを適用した。 我々は,NLPモデルの特質から,いくつかの共通点を明らかにした。
  論文  参考訳（メタデータ） (2021-06-14T13:23:20Z)
• Understanding and Improving Lexical Choice in Non-Autoregressive Translation [98.11249019844281]
  低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。 提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
  論文  参考訳（メタデータ） (2020-12-29T03:18:50Z)
• Sentence-Based Model Agnostic NLP Interpretability [45.44406712366411]
  BERTのような複雑な分類器を使用する場合、単語ベースのアプローチは計算複雑性だけでなく、分布サンプリングの欠如の問題も提起し、最終的には非確立的な説明へと繋がる。 文を用いることで、修正されたテキストは分散のままであり、同じ計算複雑性でブラックボックスへの忠実性を高めるために問題の次元が減少する。
  論文  参考訳（メタデータ） (2020-12-24T10:32:41Z)
• Interpretation of NLP models through input marginalization [28.031961925541466]
  入力の各トークンを消去した後の予測確率の変化を測定することによって予測を解釈する手法が提案されている。 既存のメソッドは、それぞれのトークンを予め定義された値(つまりゼロ)で置き換えるので、結果の文はトレーニングデータ分布から外れ、誤解を招く解釈をもたらす。 本研究では,既存の解釈手法によって引き起こされるアウト・オブ・ディストリビューション問題を提起し,その対策を提案する。 感情分析や自然言語推論のために訓練された様々なNLPモデルを,提案手法を用いて解釈する。
  論文  参考訳（メタデータ） (2020-10-27T01:40:41Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。