論文の概要: Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models

• arxiv url: http://arxiv.org/abs/2311.04131v4
• Date: Sat, 6 Jul 2024 15:14:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 03:18:28.510322
• Title: Towards Interpretable Sequence Continuation: Analyzing Shared Circuits in Large Language Models
• Title（参考訳）: 解釈可能なシーケンス継続に向けて:大規模言語モデルにおける共有回路の解析
• Authors: Michael Lan, Phillip Torr, Fazl Barez,
• Abstract要約: 本研究の目的は、トランスフォーマーモデルをアルゴリズム機能を実装する人間可読表現にリバースエンジニアリングすることである。 GPT-2 SmallとLlama-2-7Bの両方のキーサブ回路を回路解釈可能性解析により同定する。 このサブ回路は、インターバル回路、スペイン語の数字と月数継続、自然言語の単語問題など、様々な数学的なプロンプトに影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While transformer models exhibit strong capabilities on linguistic tasks, their complex architectures make them difficult to interpret. Recent work has aimed to reverse engineer transformer models into human-readable representations called circuits that implement algorithmic functions. We extend this research by analyzing and comparing circuits for similar sequence continuation tasks, which include increasing sequences of Arabic numerals, number words, and months. By applying circuit interpretability analysis, we identify a key sub-circuit in both GPT-2 Small and Llama-2-7B responsible for detecting sequence members and for predicting the next member in a sequence. Our analysis reveals that semantically related sequences rely on shared circuit subgraphs with analogous roles. Additionally, we show that this sub-circuit has effects on various math-related prompts, such as on intervaled circuits, Spanish number word and months continuation, and natural language word problems. Overall, documenting shared computational structures enables better model behavior predictions, identification of errors, and safer editing procedures. This mechanistic understanding of transformers is a critical step towards building more robust, aligned, and interpretable language models.
• Abstract（参考訳）: トランスフォーマーモデルは言語的タスクに強い能力を示すが、それらの複雑なアーキテクチャは解釈を困難にしている。 最近の研究は、トランスフォーマーモデルをアルゴリズム機能を実装する回路と呼ばれる人間可読表現にリバースエンジニアリングすることを目的としている。 この研究は、アラビア数字、数語、月数列の増加を含む、類似のシーケンス継続タスクの回路の解析と比較によって拡張される。 GPT-2 Small と Llama-2-7B の両方のキーサブ回路を回路の解釈可能性解析により同定し、シーケンス部材を検出し、次のメンバを列で予測する。 解析の結果、意味的関連配列は類似した役割を持つ共有回路サブグラフに依存していることが明らかとなった。 さらに, このサブ回路は, インターバル回路, スペイン語の数字と月数継続, 自然言語の単語問題など, 様々な数学的なプロンプトに影響を及ぼすことを示す。 全体として、共有された計算構造の文書化は、より良いモデル行動予測、エラーの識別、より安全な編集手順を可能にする。 トランスフォーマーのこの機械的理解は、より堅牢で整合的で解釈可能な言語モデルを構築するための重要なステップである。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• Uncovering Intermediate Variables in Transformers using Circuit Probing [32.382094867951224]
  本稿では,仮説化中間変数を演算する低レベル回路を自動的に発見する回路探索手法を提案する。 本手法は,(1)モデルが学習したアルゴリズムの解読,(2)モデル内のモジュラ構造を明らかにすること,(3)学習中の回路の発達を追跡することなどにおいて,単純な算術課題で訓練されたモデルに適用する。
  論文  参考訳（メタデータ） (2023-11-07T21:27:17Z)
• Circuit Component Reuse Across Tasks in Transformer Language Models [32.2976613483151]
  我々は、洞察がタスクをまたいで実際に一般化できる証拠を示す。 両タスクの根底にあるプロセスは機能的に非常によく似ており、回路内注目ヘッドの約78%が重なり合っていることを示す。 この結果から,大規模言語モデルの動作を,比較的少数の解釈可能なタスク一般のアルゴリズム構築ブロックや計算部品で説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T22:12:28Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Learning to Reason With Relational Abstractions [65.89553417442049]
  関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。 このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-06T00:27:50Z)
• Inductive Biases and Variable Creation in Self-Attention Mechanisms [25.79946667926312]
  この研究は自己アテンション加群の帰納バイアスの理論解析を提供する。 私たちの焦点は、どの関数と長距離依存関係を表現したいかを明確に決めることです。 我々の主な結果は、有界ノルムトランスフォーマー層がスパース変数を生成することを示している。
  論文  参考訳（メタデータ） (2021-10-19T16:36:19Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
  我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。 我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。 これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
  論文  参考訳（メタデータ） (2020-06-05T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。