論文の概要: Interpreting Context Look-ups in Transformers: Investigating Attention-MLP Interactions

• arxiv url: http://arxiv.org/abs/2402.15055v1
• Date: Fri, 23 Feb 2024 02:15:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 15:48:04.552771
• Title: Interpreting Context Look-ups in Transformers: Investigating Attention-MLP Interactions
• Title（参考訳）: トランスフォーマーにおけるコンテキストルックアップの解釈:注意-mlp相互作用の検討
• Authors: Clement Neo, Shay B. Cohen, Fazl Barez
• Abstract要約: 特定のトークンを予測する多層パーセプトロンにおいて,注目頭部と特殊な「次世代」ニューロンとの相互作用について検討する。 我々の分析では、特定のトークンの予測に関連するコンテキストを認識し、残りの接続を通じて関連するニューロンを活性化する注意頭を認識する。
• 参考スコア（独自算出の注目度）: 21.733308901113137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate the interplay between attention heads and specialized "next-token" neurons in the Multilayer Perceptron that predict specific tokens. By prompting an LLM like GPT-4 to explain these model internals, we can elucidate attention mechanisms that activate certain next-token neurons. Our analysis identifies attention heads that recognize contexts relevant to predicting a particular token, activating the associated neuron through the residual connection. We focus specifically on heads in earlier layers consistently activating the same next-token neuron across similar prompts. Exploring these differential activation patterns reveals that heads that specialize for distinct linguistic contexts are tied to generating certain tokens. Overall, our method combines neural explanations and probing isolated components to illuminate how attention enables context-dependent, specialized processing in LLMs.
• Abstract（参考訳）: 本稿では,特定のトークンを予測する多層パーセプトロンにおいて,アテンションヘッドと「次世代」ニューロンとの相互作用について検討する。 GPT-4のようなLCMにこれらのモデル内部を説明することで、次のニューロンを活性化する注意機構を解明することができる。 分析により、特定のトークンの予測に関連する文脈を認識し、残りの接続を介して関連するニューロンを活性化する注意ヘッドが特定される。 我々は、同じプロンプトで同じnext-tokenニューロンを一貫して活性化する以前の層において、特に頭に焦点を当てている。 これらの異なるアクティベーションパターンを探索すると、異なる言語文脈に特化する頭部が特定のトークンを生成することに結びついていることが分かる。 本手法は,LLMにおける文脈依存の特殊処理を実現するために,ニューラルネットワークと孤立成分の探索を組み合わせる。

関連論文リスト

• An Investigation of Neuron Activation as a Unified Lens to Explain Chain-of-Thought Eliciting Arithmetic Reasoning of LLMs [8.861378619584093]
  大型言語モデル (LLM) は、Chain-of-Thoughtプロンプトによって引き起こされるときに強い算術的推論能力を示す。 我々は、先行研究による観察を統一的に説明するために、レンズとしての「ニューロン活性化」について検討する。
  論文  参考訳（メタデータ） (2024-06-18T05:49:24Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Linking In-context Learning in Transformers to Human Episodic Memory [1.124958340749622]
  我々は,トランスフォーマーに基づく大規模言語モデルにおいて,文脈内学習に寄与する帰納的頭部に焦点を当てた。 本研究では,インダクションヘッドの動作,機能,機械的特性が,ヒトのエピソード記憶の文脈的保守と検索モデルに類似していることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:51:47Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Reliability Analysis of Psychological Concept Extraction and Classification in User-penned Text [9.26840677406494]
  私たちはLoSTデータセットを使って、Redditユーザーの投稿に低い自尊心があることを示唆するニュアンスのあるテキストキューをキャプチャします。 以上の結果から, PLM の焦点を Trigger と Consequences からより包括的な説明に移行する必要性が示唆された。
  論文  参考訳（メタデータ） (2024-01-12T17:19:14Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
  本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。 この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。 実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2022-04-17T11:21:18Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。