論文の概要: On the Pitfalls of Analyzing Individual Neurons in Language Models

• arxiv url: http://arxiv.org/abs/2110.07483v1
• Date: Thu, 14 Oct 2021 15:57:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 17:36:44.984391
• Title: On the Pitfalls of Analyzing Individual Neurons in Language Models
• Title（参考訳）: 言語モデルにおける個々のニューロンの分析の落とし穴について
• Authors: Omer Antverg and Yonatan Belinkov
• Abstract要約: 言語的属性によっては、ニューロンのランク付けのアプローチには2つの落とし穴がある。 これは、モデルで使用される情報ではなく、エンコードされた情報に焦点を当てている。 本稿では,最近導入した2つのランキング手法と簡単な手法を比較し,これら2つの側面について評価する。
• 参考スコア（独自算出の注目度）: 28.877572447481683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While many studies have shown that linguistic information is encoded in hidden word representations, few have studied individual neurons, to show how and in which neurons it is encoded. Among these, the common approach is to use an external probe to rank neurons according to their relevance to some linguistic attribute, and to evaluate the obtained ranking using the same probe that produced it. We show two pitfalls in this methodology: 1. It confounds distinct factors: probe quality and ranking quality. We separate them and draw conclusions on each. 2. It focuses on encoded information, rather than information that is used by the model. We show that these are not the same. We compare two recent ranking methods and a simple one we introduce, and evaluate them with regard to both of these aspects.
• Abstract（参考訳）: 多くの研究は、言語情報は隠れた単語表現でエンコードされていることを示しているが、それがどのようにエンコードされるかを示すために、個々のニューロンを研究することは少ない。 これらのうちの一般的なアプローチは、外部プローブを使用して、ある言語的属性との関連性に応じてニューロンをランク付けし、それを生成した同じプローブを用いて得られたランクを評価することである。 この方法論には2つの落とし穴があります 1. プローブ品質とランキング品質という,異なる要因を考察する。 私たちはそれらを分離し、それぞれの結論を引き出す。 2.モデルが使用する情報ではなく、エンコードされた情報に焦点を当てている。 これらは同じではないことを示します。 本稿では,最近導入した2つのランキング手法と簡単な手法を比較し,両者について評価する。

関連論文リスト

• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Evaluating Neuron Interpretation Methods of NLP Models [28.71369775524347]
  本稿では,ニューロン解析法と他の手法との整合性を評価する評価フレームワークを提案する。 本稿では,大きなニューロン解釈法の比較分析を行った。 これにより、20のコンセプトと3つの事前学習モデルを用いた新しい手法の評価が可能になる。
  論文  参考訳（メタデータ） (2023-01-30T02:04:35Z)
• Discovering Salient Neurons in Deep NLP Models [31.18937787704794]
  本稿では,モデル内のサルエントニューロンを抽出する言語相関解析法を提案する。 我々のデータ駆動量分析は興味深い発見を照らす。 我々のコードはNeuroXツールキットの一部として公開されています。
  論文  参考訳（メタデータ） (2022-06-27T13:31:49Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。