論文の概要: How does GPT-2 Predict Acronyms? Extracting and Understanding a Circuit via Mechanistic Interpretability

• arxiv url: http://arxiv.org/abs/2405.04156v1
• Date: Tue, 7 May 2024 09:50:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 14:39:54.629374
• Title: How does GPT-2 Predict Acronyms? Extracting and Understanding a Circuit via Mechanistic Interpretability
• Title（参考訳）: GPT-2はどのように頭字語を予測するか? 機械的解釈可能性による回路の抽出と理解
• Authors: Jorge García-Carrasco, Alejandro Maté, Juan Trujillo,
• Abstract要約: この研究は、GPT-2 Smallが3文字の頭字語を予測するタスクを実行する方法を理解することに焦点を当てている。 我々の知る限りでは、これは複数の連続するトークンの予測を含む振る舞いを機械的に理解しようとする最初の試みである。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models are treated as black-boxes because of their large number of parameters and complex internal interactions, which is a serious safety concern. Mechanistic Interpretability (MI) intends to reverse-engineer neural network behaviors in terms of human-understandable components. In this work, we focus on understanding how GPT-2 Small performs the task of predicting three-letter acronyms. Previous works in the MI field have focused so far on tasks that predict a single token. To the best of our knowledge, this is the first work that tries to mechanistically understand a behavior involving the prediction of multiple consecutive tokens. We discover that the prediction is performed by a circuit composed of 8 attention heads (~5% of the total heads) which we classified in three groups according to their role. We also demonstrate that these heads concentrate the acronym prediction functionality. In addition, we mechanistically interpret the most relevant heads of the circuit and find out that they use positional information which is propagated via the causal mask mechanism. We expect this work to lay the foundation for understanding more complex behaviors involving multiple-token predictions.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは、多数のパラメータと複雑な内部相互作用のためにブラックボックスとして扱われる。 機械的解釈可能性(MI)は、人間の理解可能なコンポーネントの観点から、ニューラルネットワークの振る舞いをリバースエンジニアリングすることを目的としている。 本稿では,GPT-2 Smallが3文字の頭字語を予測するタスクをいかに実行するかを理解することに焦点を当てる。 MI分野におけるこれまでの作業は、単一のトークンを予測するタスクに重点を置いてきた。 我々の知る限りでは、これは複数の連続するトークンの予測を含む振る舞いを機械的に理解しようとする最初の試みである。 この予測は,8つの注意頭(全頭部の約5%)からなる回路で行われ,その役割に応じて3つのグループに分類した。 また、これらの頭部が頭字語予測機能に集中していることも示している。 さらに,回路の最も関連性の高い頭部を機械的に解釈し,因果マスク機構を介して伝播する位置情報を用いていることを確認した。 われわれはこの研究が、複数段階の予測を含むより複雑な行動を理解する基盤となることを期待している。

関連論文リスト

• Interpreting Attention Layer Outputs with Sparse Autoencoders [3.201633659481912]
  モデルアクティベーションを解釈可能なコンポーネントに分解することは、機械的解釈可能性において鍵となるオープンな問題である。 この作業では、注意層出力でSAEをトレーニングし、ここでもSAEがスパースで解釈可能な分解を見つけることを示す。 Sparse Autoencodersは、研究者が以前の作業よりも詳細にモデル動作を説明するのに役立つツールであることを示す。
  論文  参考訳（メタデータ） (2024-06-25T17:43:13Z)
• Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory [66.88278207591294]
  本稿では,新しいより長いデータ列に対して,ニューラルネットワークによるシンボル処理の理解と適用を支援するために,Pointer-Augmented Neural Memory (PANM)を提案する。 PANMは、新しい物理アドレスとポインタ操作技術を使用して、人間とコンピュータのシンボル処理能力を模倣する外部のニューラルメモリを統合する。
  論文  参考訳（メタデータ） (2024-04-18T03:03:46Z)
• Climbing the Ladder of Interpretability with Counterfactual Concept Bottleneck Models [13.68240746988973]
  現在のディープラーニングモデルは、3つの基本的な問題に同時に対処するように設計されていない。 CF-CBM(CounterFactual Concept Bottleneck Models)を紹介する。 CF-CBMは正確な予測(“What?”)、タスク予測の簡単な説明(“Why?”)、解釈可能な対応(“What if?”)を生成する。
  論文  参考訳（メタデータ） (2024-02-02T13:42:12Z)
• Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models [3.6396223542930772]
  自己回帰型デコーダ大言語モデル(LLM)は、BとAが別個であり、互いに一意に識別できると仮定して、"B is A"を学習できない。 これにより、知識グラフの構築など、ある種の一般的なタスクにGPTモデルを使用することで、赤旗を掲げる。 そこで本研究では,両方向性 LLM であるBERT について検討し,逆行性呪いに対する免疫性が確認された。
  論文  参考訳（メタデータ） (2023-12-06T17:29:45Z)
• Circuit Component Reuse Across Tasks in Transformer Language Models [32.2976613483151]
  我々は、洞察がタスクをまたいで実際に一般化できる証拠を示す。 両タスクの根底にあるプロセスは機能的に非常によく似ており、回路内注目ヘッドの約78%が重なり合っていることを示す。 この結果から,大規模言語モデルの動作を,比較的少数の解釈可能なタスク一般のアルゴリズム構築ブロックや計算部品で説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T22:12:28Z)
• How does GPT-2 compute greater-than?: Interpreting mathematical abilities in a pre-trained language model [52.92472140375308]
  我々は、GPT-2小の数学的能力を説明するために、機械的解釈可能性技術を用いている。 我々は, GPT-2 small の最終多層パーセプトロンは, 開始年よりも終末年の確率を増大させることを示した。 以上の結果から,GPT-2は複雑だが汎用的な機構で計算可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-04-30T21:44:21Z)
• Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small [68.879023473838]
  間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。 我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
  論文  参考訳（メタデータ） (2022-11-01T17:08:44Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。