論文の概要: Rethinking Associative Memory Mechanism in Induction Head

• arxiv url: http://arxiv.org/abs/2412.11459v2
• Date: Tue, 08 Jul 2025 13:14:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:36.746447
• Title: Rethinking Associative Memory Mechanism in Induction Head
• Title（参考訳）: 誘導ヘッドにおける連想記憶機構の再考
• Authors: Shuo Wang, Issei Sato,
• Abstract要約: 本稿では,2層トランスフォーマーがコンテキスト内情報を網羅的に捕捉し,事前学習したビッグラム知識とバランスをとる方法について検討する。 本稿では,注目層における重み行列の表現と,変換器がビッグラムモデルによって生成されたプロンプトを付与した場合のロジットを理論的に解析する。
• 参考スコア（独自算出の注目度）: 37.93644115914534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Induction head mechanism is a part of the computational circuits for in-context learning (ICL) that enable large language models (LLMs) to adapt to new tasks without fine-tuning. Most existing work explains the training dynamics behind acquiring such a powerful mechanism. However, the model's ability to coordinate in-context information over long contexts and global knowledge acquired during pretraining remains poorly understood. This paper investigates how a two-layer transformer thoroughly captures in-context information and balances it with pretrained bigram knowledge in next token prediction, from the viewpoint of associative memory. We theoretically analyze the representation of weight matrices in attention layers and the resulting logits when a transformer is given prompts generated by a bigram model. In the experiments, we design specific prompts to evaluate whether the outputs of the trained transformer align with the theoretical results.
• Abstract（参考訳）: 誘導ヘッド機構は、大規模言語モデル(LLM)が微調整なしで新しいタスクに適応できるようにするインコンテキスト学習(ICL)のための計算回路の一部である。 既存の作業の多くは、このような強力なメカニズムの獲得の背景にあるトレーニングのダイナミクスを説明しています。 しかし、このモデルが長期の文脈上でコンテキスト内情報をコーディネートする能力と、事前学習中に得られたグローバルな知識は、まだ理解されていない。 本稿では,2層トランスフォーマがコンテキスト内情報を網羅的に捕捉し,それと事前学習したビッグラム知識とのバランスを,連想記憶の観点から検討する。 本稿では,注目層における重み行列の表現と,変換器がビッグラムモデルによって生成されたプロンプトを付与した場合のロジットを理論的に解析する。 実験では、トレーニングされたトランスの出力が理論結果と一致しているかを評価するための特定のプロンプトを設計する。

関連論文リスト

• CoT-ICL Lab: A Petri Dish for Studying Chain-of-Thought Learning from In-Context Demonstrations [11.907286102852957]
  CoT-ICL Labは、合成トークン化されたデータセットを生成するためのフレームワークと方法論である。 我々は,言語モデルにおける文脈内学習(ICL)のチェーン・オブ・シント(CoT)を体系的に研究する。
  論文  参考訳（メタデータ） (2025-02-21T01:24:54Z)
• Emergence of Abstractions: Concept Encoding and Decoding Mechanism for In-Context Learning in Transformers [18.077009146950473]
  自己回帰変換器は文脈内学習(ICL)を通して適応学習を示す 変換器の表現において内部抽象をどう形成し、どのように利用するかを研究することにより、ICLを説明するための符号化・復号機構を提案する。 私たちの経験的洞察は、その表現を通じて、大きな言語モデルの成功と失敗モードの理解を深めました。
  論文  参考訳（メタデータ） (2024-12-16T19:00:18Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• How Do Nonlinear Transformers Learn and Generalize in In-Context Learning? [82.51626700527837]
  トランスフォーマーベースの大規模言語モデルでは、トレーニング済みのモデルが微調整なしで新しいタスクを処理できるような、コンテキスト内学習機能が印象的だった。 我々は、TransformerがICLを実現する方法の仕組みが、Transformerにおけるトレーニング問題の技術的課題にどのように貢献するかを分析する。
  論文  参考訳（メタデータ） (2024-02-23T21:07:20Z)
• Towards Understanding How Transformers Learn In-context Through a Representation Learning Lens [9.590540796223715]
  本稿では,表現学習のレンズを用いて,トランスフォーマーにおける文脈内学習プロセスについて検討する。 注目層のICL推論プロセスは、その2重モデルのトレーニング手順と整合し、トークン表現予測を生成する。 理論的結論は、1つのトランスフォーマー層と複数の注意層を含む、より複雑なシナリオにまで拡張します。
  論文  参考訳（メタデータ） (2023-10-20T01:55:34Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Birth of a Transformer: A Memory Viewpoint [25.294093283819443]
  トランスフォーマーに基づく大規模言語モデルは、経験的成功を収めた。 より広くデプロイされているため、より信頼性を高めるために、内部メカニズムをよりよく理解する必要がある。 本研究では,グローバルあるいはコンテキスト固有のビッグラムからトークンが生成される合成セットアップを考慮し,これらの2種類の知識分布のバランスについて検討する。
  論文  参考訳（メタデータ） (2023-06-01T15:30:33Z)
• Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
  マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。 本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
  論文  参考訳（メタデータ） (2020-02-17T19:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。