論文の概要: Talking Heads: Understanding Inter-layer Communication in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2406.09519v2
• Date: Sun, 03 Nov 2024 17:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:44:53.325788
• Title: Talking Heads: Understanding Inter-layer Communication in Transformer Language Models
• Title（参考訳）: 話す頭:トランスフォーマー言語モデルにおける層間コミュニケーションの理解
• Authors: Jack Merullo, Carsten Eickhoff, Ellie Pavlick,
• Abstract要約: 2つのLMで用いられるメカニズムを分析し、1つのタスクでコンテキスト内のアイテムを選択的に抑制する。 モデルが残ストリームの低ランクな部分空間に書き込まれて,後続のレイヤで読み出される特徴を表現することが分かりました。
• 参考スコア（独自算出の注目度）: 32.2976613483151
• License:
• Abstract: Although it is known that transformer language models (LMs) pass features from early layers to later layers, it is not well understood how this information is represented and routed by the model. We analyze a mechanism used in two LMs to selectively inhibit items in a context in one task, and find that it underlies a commonly used abstraction across many context-retrieval behaviors. Specifically, we find that models write into low-rank subspaces of the residual stream to represent features which are then read out by later layers, forming low-rank communication channels (Elhage et al., 2021) between layers. A particular 3D subspace in model activations in GPT-2 can be traversed to positionally index items in lists, and we show that this mechanism can explain an otherwise arbitrary-seeming sensitivity of the model to the order of items in the prompt. That is, the model has trouble copying the correct information from context when many items ``crowd" this limited space. By decomposing attention heads with the Singular Value Decomposition (SVD), we find that previously described interactions between heads separated by one or more layers can be predicted via analysis of their weight matrices alone. We show that it is possible to manipulate the internal model representations as well as edit model weights based on the mechanism we discover in order to significantly improve performance on our synthetic Laundry List task, which requires recall from a list, often improving task accuracy by over 20%. Our analysis reveals a surprisingly intricate interpretable structure learned from language model pretraining, and helps us understand why sophisticated LMs sometimes fail in simple domains, facilitating future analysis of more complex behaviors.
• Abstract（参考訳）: トランスフォーマー言語モデル(LM)が初期層から後期層に特徴を渡すことは知られているが、この情報がモデルによってどのように表現され、ルートされるかはよく分かっていない。 2つのLMで用いられるメカニズムを解析し、あるタスクのコンテキスト内のアイテムを選択的に抑制し、多くのコンテキスト検索行動において一般的に使用される抽象概念の基盤となることを確認する。 具体的には、残差ストリームの低ランク部分空間に書き込むと、後続の層によって読み出される特徴を表現し、層間の低ランク通信チャネル(Elhage et al , 2021)を形成する。 GPT-2におけるモデルアクティベーションの特定の3次元部分空間は、リスト内のアイテムの位置をインデクシングするためにトラバースすることができ、このメカニズムは、他の方法ではモデルの任意の感度をプロンプト内のアイテムの順序に説明できることを示す。 つまり、この制限された空間で ``crowd' の項目が多い場合、モデルがコンテキストから正しい情報をコピーするのに苦労する。 Singular Value Decomposition (SVD) で注目ヘッドを分解することにより、1つ以上の層で分離された頭部間の相互作用を、重量行列のみの分析によって予測できることが判明した。 そこで本研究では,内部モデル表現の操作やモデル重み付けの編集が可能であることを示し,その機構をベースとして,リストからのリコールを必要とするLundry Listタスクの性能を大幅に向上させることで,タスク精度を20%以上向上させることが可能であることを示した。 我々の分析では、言語モデル事前学習から学んだ驚くほど複雑な解釈可能な構造を明らかにし、なぜ洗練されたLMが単純なドメインで失敗するのかを理解するのに役立ち、より複雑な振る舞いの将来の分析を容易にする。

関連論文リスト

• Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
  SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:08:59Z)
• The Mysterious Case of Neuron 1512: Injectable Realignment Architectures Reveal Internal Characteristics of Meta's Llama 2 Model [3.838217057990932]
  Injectable Realignment Model (IRM)は、言語モデルの解釈可能性と説明可能性に対する新しいアプローチである。 ニューラルプログラミングインタフェースに関する以前の研究に触発された私たちは、感情に基づくアライメントを誘導するために、小さなネットワーク(IRM)を構築してトレーニングします。 訓練されたIRMの出力の分析では、興味深いパターンが明らかになっている。
  論文  参考訳（メタデータ） (2024-07-04T04:05:19Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Language Models Implement Simple Word2Vec-style Vector Arithmetic [32.2976613483151]
  言語モデル(LM)に対する主要な批判は、その調査性である。 本稿では,その大きさと複雑さにもかかわらず,LMは単純なベクトル演算方式を用いて,いくつかのリレーショナルタスクを解くことの証拠を提示する。
  論文  参考訳（メタデータ） (2023-05-25T15:04:01Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• VISIT: Visualizing and Interpreting the Semantic Information Flow of Transformers [45.42482446288144]
  近年の解釈可能性の進歩は、トランスフォーマーベース言語モデルの重みと隠れ状態を語彙に投影できることを示唆している。 LMアテンションヘッドとメモリ値、モデルが与えられた入力を処理しながら動的に生成し、リコールするベクトルについて検討する。 対話型フローグラフとして生成事前学習変換器(GPT)の前方通過を可視化するツールを作成する。
  論文  参考訳（メタデータ） (2023-05-22T19:04:56Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• ELUDE: Generating interpretable explanations via a decomposition into labelled and unlabelled features [23.384134043048807]
  モデルの予測を2つの部分に分解する説明フレームワークを開発する。 後者を識別することで、モデルの"説明できない"部分を分析することができます。 また,同機能領域で訓練された複数のモデルに対して,非競合機能セットが一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-15T17:36:55Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。