論文の概要: Locating Cross-Task Sequence Continuation Circuits in Transformers

• arxiv url: http://arxiv.org/abs/2311.04131v1
• Date: Tue, 7 Nov 2023 16:58:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 14:46:28.100080
• Title: Locating Cross-Task Sequence Continuation Circuits in Transformers
• Title（参考訳）: 変圧器におけるクロスタスクシーケンス継続回路の同定
• Authors: Michael Lan, Fazl Barez
• Abstract要約: この研究は、トランスフォーマーモデルを回路と呼ばれる人間可読表現にリバースエンジニアリングすることを目的としている。 我々は、シーケンスメンバーの検出と、シーケンス内の次のメンバの予測に責任があるキーサブ回路を同定する。 解析の結果、意味的関連配列は類似した役割を持つ共有回路サブグラフに依存していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 2.44755919161855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While transformer models exhibit strong capabilities on linguistic tasks, their complex architectures make them difficult to interpret. Recent work has aimed to reverse engineer transformer models into human-readable representations called circuits that implement algorithmic functions. We extend this research by analyzing and comparing circuits for similar sequence continuation tasks, which include increasing sequences of digits, number words, and months. Through the application of circuit analysis techniques, we identify key sub-circuits responsible for detecting sequence members and for predicting the next member in a sequence. Our analysis reveals that semantically related sequences rely on shared circuit subgraphs with analogous roles. Overall, documenting shared computational structures enables better prediction of model behaviors, identification of errors, and safer editing procedures. This mechanistic understanding of transformers is a critical step towards building more robust, aligned, and interpretable language models.
• Abstract（参考訳）: トランスフォーマーモデルは言語的タスクに強い能力を示すが、それらの複雑なアーキテクチャは解釈を困難にする。 最近の研究は、トランスフォーマーモデルをアルゴリズム機能を実装する回路と呼ばれる可読表現にリバースエンジニアリングすることを目的としている。 この研究は、桁数、数語数、月数の増加を含む、類似のシーケンス継続タスクの回路の解析と比較によって拡張される。 回路解析手法の適用により、シーケンス部材の検出と次の配列部材の予測に責任を負うキーサブ回路を同定する。 解析の結果、意味的関連配列は類似した役割を持つ共有回路サブグラフに依存することが明らかとなった。 全体として、共有計算構造の文書化は、モデルの振る舞いのより良い予測、エラーの識別、より安全な編集手順を可能にする。 トランスフォーマーのこの機械的理解は、より堅牢で整合的で解釈可能な言語モデルを構築するための重要なステップである。

関連論文リスト

• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Transformers are Efficient Compilers, Provably [11.459397066286822]
  トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。 本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。 代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
  論文  参考訳（メタデータ） (2024-10-07T20:31:13Z)
• Circuit Compositions: Exploring Modular Structures in Transformer-Based Language Models [22.89563355840371]
  言語モデル内で10個のモジュール型文字列編集処理を行う回路を同定・比較する。 以上の結果から,機能的に類似した回路は,ノード重なりとクロスタスク忠実度の両方を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-02T11:36:45Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• Uncovering Intermediate Variables in Transformers using Circuit Probing [32.382094867951224]
  本稿では,仮説化中間変数を演算する低レベル回路を自動的に発見する回路探索手法を提案する。 本手法は,(1)モデルが学習したアルゴリズムの解読,(2)モデル内のモジュラ構造を明らかにすること,(3)学習中の回路の発達を追跡することなどにおいて,単純な算術課題で訓練されたモデルに適用する。
  論文  参考訳（メタデータ） (2023-11-07T21:27:17Z)
• Circuit Component Reuse Across Tasks in Transformer Language Models [32.2976613483151]
  我々は、洞察がタスクをまたいで実際に一般化できる証拠を示す。 両タスクの根底にあるプロセスは機能的に非常によく似ており、回路内注目ヘッドの約78%が重なり合っていることを示す。 この結果から,大規模言語モデルの動作を,比較的少数の解釈可能なタスク一般のアルゴリズム構築ブロックや計算部品で説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T22:12:28Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Learning to Reason With Relational Abstractions [65.89553417442049]
  関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。 このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-06T00:27:50Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。