論文の概要: Evaluating Neuron Interpretation Methods of NLP Models

• arxiv url: http://arxiv.org/abs/2301.12608v1
• Date: Mon, 30 Jan 2023 02:04:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 16:02:54.595711
• Title: Evaluating Neuron Interpretation Methods of NLP Models
• Title（参考訳）: NLPモデルのニューロン解釈法の評価
• Authors: Yimin Fan, Fahim Dalvi, Nadir Durrani, Hassan Sajjad
• Abstract要約: 本稿では,ニューロン解析法と他の手法との整合性を評価する評価フレームワークを提案する。 本稿では,大きなニューロン解釈法の比較分析を行った。 これにより、20のコンセプトと3つの事前学習モデルを用いた新しい手法の評価が可能になる。
• 参考スコア（独自算出の注目度）: 19.346951657736565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neuron Interpretation has gained traction in the field of interpretability, and have provided fine-grained insights into what a model learns and how language knowledge is distributed amongst its different components. However, the lack of evaluation benchmark and metrics have led to siloed progress within these various methods, with very little work comparing them and highlighting their strengths and weaknesses. The reason for this discrepancy is the difficulty of creating ground truth datasets, for example, many neurons within a given model may learn the same phenomena, and hence there may not be one correct answer. Moreover, a learned phenomenon may spread across several neurons that work together -- surfacing these to create a gold standard challenging. In this work, we propose an evaluation framework that measures the compatibility of a neuron analysis method with other methods. We hypothesize that the more compatible a method is with the majority of the methods, the more confident one can be about its performance. We systematically evaluate our proposed framework and present a comparative analysis of a large set of neuron interpretation methods. We make the evaluation framework available to the community. It enables the evaluation of any new method using 20 concepts and across three pre-trained models.The code is released at https://github.com/fdalvi/neuron-comparative-analysis
• Abstract（参考訳）: ニューロン解釈は、解釈可能性の分野で牽引力を得ており、モデルがどのように学習し、言語知識が様々な構成要素にどのように分配されるかに関する詳細な洞察を提供している。 しかし、評価ベンチマークとメトリクスの欠如は、これらの様々な手法の進歩をサイロ化させ、それらを比較し、その強みと弱点を強調している。 この違いの理由は、例えば、与えられたモデル内の多くのニューロンが同じ現象を学習し、従って1つの正しい答えが存在しないような、基底真理データセットを作成することの難しさにある。 さらに、学習された現象は複数のニューロンにまたがって一緒に作用する可能性がある。 本研究では,ニューロン解析法と他の方法との互換性を評価するための評価フレームワークを提案する。 私たちは、メソッドがほとんどのメソッドとより互換性があるほど、そのパフォーマンスについてより自信を持つことができると仮定します。 提案手法を体系的に評価し,多数のニューロン解釈法の比較分析を行った。 評価フレームワークをコミュニティに公開しています。 20のコンセプトと3つの事前学習されたモデルを使って、新しいメソッドを評価することができる。

関連論文リスト

• On the Value of Labeled Data and Symbolic Methods for Hidden Neuron Activation Analysis [1.55858752644861]
  最先端技術は、隠されたノードのアクティベーションが、場合によっては人間にとって意味のある方法で解釈可能であることを示している。 本稿では,本手法が意味のある解釈を提供することを示す,新しいモデル非依存のポストホック説明可能なAI手法を提案する。
  論文  参考訳（メタデータ） (2024-04-21T07:57:45Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Adversarial Attacks on the Interpretation of Neuron Activation Maximization [70.5472799454224]
  アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。 本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
  論文  参考訳（メタデータ） (2023-06-12T19:54:33Z)
• On Modifying a Neural Network's Perception [3.42658286826597]
  本研究では,人間の定義した概念に対して,人工ニューラルネットワークが知覚しているものを修正する手法を提案する。 提案手法を異なるモデルで検証し、実行された操作がモデルによって適切に解釈されているかどうかを評価し、それらに対してどのように反応するかを解析する。
  論文  参考訳（メタデータ） (2023-03-05T12:09:37Z)
• Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
  本稿では,ニューラルモデルによる反事実文の評価について検討する。 まず、神経因果モデル(NCM)が十分に表現可能であることを示す。 第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-30T18:29:09Z)
• Interpreting Deep Learning Models in Natural Language Processing: A Review [33.80537635077772]
  ニューラルネットワークモデルに対する長年にわたる批判は、解釈可能性の欠如である。 本研究では,NLPにおけるニューラルモデルに対する様々な解釈手法について概説する。
  論文  参考訳（メタデータ） (2021-10-20T10:17:04Z)
• Evaluating Saliency Methods for Neural Language Models [9.309351023703018]
  サリエンシ法はニューラルネットワーク予測の解釈に広く用いられている。 同じモデルによって行われた同じ予測の解釈でさえ、異なるサリエンシー方法のバリエーションは一致しません。 我々は,NLPモデルの基本カテゴリであるニューラル言語モデルに基づいて,サリエンシ手法の包括的,定量的評価を行う。
  論文  参考訳（メタデータ） (2021-04-12T21:19:48Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Can you tell? SSNet -- a Sagittal Stratum-inspired Neural Network Framework for Sentiment Analysis [1.0312968200748118]
  感情分析のための頑健で高精度な分類器を構築するために,同じテキスト上で異なるモデルの予測を組み合わせるニューラルネットワークアーキテクチャを提案する。 そこで本研究では,専用ニューラルネットワークをベースとした複数の予測と,その数学的解析と,最先端の実験結果を組み合わせるための体系的な新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-06-23T12:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。