論文の概要: Interpreting Deep Learning Models in Natural Language Processing: A Review

• arxiv url: http://arxiv.org/abs/2110.10470v1
• Date: Wed, 20 Oct 2021 10:17:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-23 21:48:22.780492
• Title: Interpreting Deep Learning Models in Natural Language Processing: A Review
• Title（参考訳）: 自然言語処理におけるディープラーニングモデルの解釈
• Authors: Xiaofei Sun, Diyi Yang, Xiaoya Li, Tianwei Zhang, Yuxian Meng, Qiu Han, Guoyin Wang, Eduard Hovy, Jiwei Li
• Abstract要約: ニューラルネットワークモデルに対する長年にわたる批判は、解釈可能性の欠如である。 本研究では,NLPにおけるニューラルモデルに対する様々な解釈手法について概説する。
• 参考スコア（独自算出の注目度）: 33.80537635077772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network models have achieved state-of-the-art performances in a wide range of natural language processing (NLP) tasks. However, a long-standing criticism against neural network models is the lack of interpretability, which not only reduces the reliability of neural NLP systems but also limits the scope of their applications in areas where interpretability is essential (e.g., health care applications). In response, the increasing interest in interpreting neural NLP models has spurred a diverse array of interpretation methods over recent years. In this survey, we provide a comprehensive review of various interpretation methods for neural models in NLP. We first stretch out a high-level taxonomy for interpretation methods in NLP, i.e., training-based approaches, test-based approaches, and hybrid approaches. Next, we describe sub-categories in each category in detail, e.g., influence-function based methods, KNN-based methods, attention-based models, saliency-based methods, perturbation-based methods, etc. We point out deficiencies of current methods and suggest some avenues for future research.
• Abstract（参考訳）: ニューラルネットワークモデルは、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 しかしながら、ニューラルネットワークモデルに対する長年にわたる批判は、解釈可能性の欠如である。これは、ニューラルNLPシステムの信頼性を低下させるだけでなく、解釈可能性が不可欠である領域(例えば、医療応用)におけるアプリケーションの範囲を制限する。 これに対し、ニューラルNLPモデルの解釈に対する関心が高まり、近年は様々な解釈方法が生まれている。 本研究では,NLPにおけるニューラルモデルに対する様々な解釈手法について概説する。 まず,NLPにおける解釈手法,すなわちトレーニングベースアプローチ,テストベースアプローチ,ハイブリッドアプローチの高レベルな分類法について述べる。 次に、影響関数に基づく方法、knに基づく方法、注意に基づくモデル、給与に基づく方法、摂動に基づく方法など、各カテゴリのサブカテゴリを詳細に記述する。 我々は,現在の手法の欠陥を指摘し,今後の研究への道のりを示唆する。

関連論文リスト

• Recent advancements in computational morphology : A comprehensive survey [0.11606731918609076]
  計算形態学は単語レベルで言語処理を扱う。 形態的境界検出、補間、形態的特徴タグ付け、形態的再考等。
  論文  参考訳（メタデータ） (2024-06-08T10:07:33Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Adversarial Attacks on the Interpretation of Neuron Activation Maximization [70.5472799454224]
  アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。 本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
  論文  参考訳（メタデータ） (2023-06-12T19:54:33Z)
• Evaluating Neuron Interpretation Methods of NLP Models [28.71369775524347]
  本稿では,ニューロン解析法と他の手法との整合性を評価する評価フレームワークを提案する。 本稿では,大きなニューロン解釈法の比較分析を行った。 これにより、20のコンセプトと3つの事前学習モデルを用いた新しい手法の評価が可能になる。
  論文  参考訳（メタデータ） (2023-01-30T02:04:35Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• On the Explainability of Natural Language Processing Deep Models [3.0052400859458586]
  これらの課題に対処し,自然言語処理(NLP)モデルについて十分な説明を行う手法が開発されている。 本研究は,NLP分野におけるExAI手法の民主化を目的として,NLPモデルにおけるモデル非依存およびモデル固有の説明可能性手法について調査する。
  論文  参考訳（メタデータ） (2022-10-13T11:59:39Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• A Survey of Active Learning for Text Classification using Deep Neural Networks [1.2310316230437004]
  自然言語処理(NLP)とニューラルネットワーク(NN)はどちらも近年大きく変化している。 しかし、アクティブラーニング(AL)の目的のために、NNは、現在の人気にもかかわらず、あまり使われていない。
  論文  参考訳（メタデータ） (2020-08-17T12:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。