Fugu-MT 論文翻訳(概要): Fine-grained Interpretation and Causation Analysis in Deep NLP Models

論文の概要: Fine-grained Interpretation and Causation Analysis in Deep NLP Models

arxiv url: http://arxiv.org/abs/2105.08039v1
Date: Mon, 17 May 2021 17:43:36 GMT
ステータス: 処理完了
システム内更新日: 2021-05-18 14:50:30.491513
Title: Fine-grained Interpretation and Causation Analysis in Deep NLP Models
Title（参考訳）: 深部NLPモデルにおける微粒化解釈と因果解析
Authors: Hassan Sajjad, Narine Kokhlikyan, Fahim Dalvi, Nadir Durrani
Abstract要約: 本稿では,モデルの細粒度成分を2つの観点から解釈する研究成果について論じる。前者は、言語特性またはタスクに関する個々のニューロンおよびニューロンのグループを分析する方法を紹介します。後者はモデルによってなされる決定を説明するのにニューロンおよび入力の特徴の役割を研究します。
参考スコア（独自算出の注目度）: 20.425855491229147
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper is a write-up for the tutorial on "Fine-grained Interpretation and Causation Analysis in Deep NLP Models" that we are presenting at NAACL 2021. We present and discuss the research work on interpreting fine-grained components of a model from two perspectives, i) fine-grained interpretation, ii) causation analysis. The former introduces methods to analyze individual neurons and a group of neurons with respect to a language property or a task. The latter studies the role of neurons and input features in explaining decisions made by the model. We also discuss application of neuron analysis such as network manipulation and domain adaptation. Moreover, we present two toolkits namely NeuroX and Captum, that support functionalities discussed in this tutorial.
Abstract（参考訳）: 本稿では,naacl 2021で提示する「深層nlpモデルにおけるきめ細かな解釈と因果解析」に関するチュートリアルの書き上げについて述べる。本稿では,2つの視点からモデルの細粒度成分を解釈する研究成果,i)細粒度解釈,ii)因果分析について論じる。前者は、言語特性またはタスクに関して、個々のニューロンとニューロンのグループを分析する方法を紹介している。後者は、モデルによる決定を説明する際に、ニューロンと入力の特徴の役割を研究する。また、ネットワーク操作やドメイン適応などのニューロン解析の応用についても論じる。さらに,本チュートリアルで論じる機能をサポートする2つのツールキットであるNeuroXとCaptumを提案する。

関連論文リスト

Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
論文参考訳（メタデータ） (2024-06-13T16:04:11Z)
CausalGym: Benchmarking causal interpretability methods on linguistic tasks [52.61917615039112]
CausalGymを使って、モデル動作に因果的に影響を及ぼす解釈可能性手法のベンチマークを行う。ピチアモデル (14M--6.9B) について検討し, 幅広い解釈可能性手法の因果効果について検討した。 DASは他の手法よりも優れており、2つの困難な言語現象の学習軌跡の研究に利用している。
論文参考訳（メタデータ） (2024-02-19T21:35:56Z)
Towards Generating Informative Textual Description for Neurons in Language Models [6.884227665279812]
本稿では,ニューロンにテキスト記述を結び付けるフレームワークを提案する。特に,提案手法が75%精度@2,50%リコール@2を実現していることを示す。
論文参考訳（メタデータ） (2024-01-30T04:06:25Z)
NeuroX Library for Neuron Analysis of Deep NLP Models [21.663464746974455]
本稿では,自然言語処理モデルのニューロン解析を行うオープンソースツールキットNeuroXを提案する。 NeuroXは、統一されたAPIの下で様々な解釈方法を実装し、データ処理と評価のためのフレームワークを提供する。
論文参考訳（メタデータ） (2023-05-26T16:32:56Z)
N2G: A Scalable Approach for Quantifying Interpretable Neuron Representations in Large Language Models [0.0]
N2Gは、ニューロンとそのデータセットの例を取り、これらの例のニューロンの振る舞いを解釈可能なグラフに自動的に蒸留するツールである。我々は、重要なトークンのみを提示するためにトランケーションとサリエンシ法を使用し、より多様なサンプルでデータセットの例を拡大し、ニューロンの振る舞いの程度をより正確に把握する。これらのグラフは、研究者による手動による解釈を助けるために視覚化できるが、テキスト上でトークンアクティベーションを出力して、ニューロンの基底真理アクティベーションと比較して自動検証することも可能だ。
論文参考訳（メタデータ） (2023-04-22T19:06:13Z)
Towards Faithful Model Explanation in NLP: A Survey [48.690624266879155]
エンドツーエンドのニューラルネットワーク処理(NLP)モデルを理解するのは非常に難しい。モデル説明の一側面は忠実さであり、すなわち、説明はモデルの予測の背後にある推論過程を正確に表現すべきである。我々は,NLPにおける110以上のモデル説明法を忠実度レンズを用いてレビューした。
論文参考訳（メタデータ） (2022-09-22T21:40:51Z)
Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文参考訳（メタデータ） (2022-07-07T15:37:17Z)
Interpreting Deep Learning Models in Natural Language Processing: A Review [33.80537635077772]
ニューラルネットワークモデルに対する長年にわたる批判は、解釈可能性の欠如である。本研究では,NLPにおけるニューラルモデルに対する様々な解釈手法について概説する。
論文参考訳（メタデータ） (2021-10-20T10:17:04Z)
Neuron-level Interpretation of Deep NLP Models: A Survey [22.035813865470956]
ディープニューラルネットワークモデルのコンポーネントを分析し、理解するために、数多くの研究がなされている。最近の研究は、より粒度の細かいレベルでの解釈可能性に集中し、大きなモデルでニューロンとニューロンのグループを分析している。
論文参考訳（メタデータ） (2021-08-30T11:54:21Z)
Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文参考訳（メタデータ） (2020-06-24T20:37:05Z)
Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。