論文の概要: Understanding Knowledge Hijack Mechanism in In-context Learning through Associative Memory

• arxiv url: http://arxiv.org/abs/2412.11459v1
• Date: Mon, 16 Dec 2024 05:33:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:10.430830
• Title: Understanding Knowledge Hijack Mechanism in In-context Learning through Associative Memory
• Title（参考訳）: 連想記憶による文脈内学習における知識ヒジャック機構の理解
• Authors: Shuo Wang, Issei Sato,
• Abstract要約: In-context Learning (ICL) は、大規模言語モデルが微調整なしで新しいタスクに適応できるようにする。 本稿では,トークン予測における文脈内情報と事前学習したビッグラム知識のバランスについて検討する。
• 参考スコア（独自算出の注目度）: 37.93644115914534
• License:
• Abstract: In-context learning (ICL) enables large language models (LLMs) to adapt to new tasks without fine-tuning by leveraging contextual information provided within a prompt. However, ICL relies not only on contextual clues but also on the global knowledge acquired during pretraining for the next token prediction. Analyzing this process has been challenging due to the complex computational circuitry of LLMs. This paper investigates the balance between in-context information and pretrained bigram knowledge in token prediction, focusing on the induction head mechanism, a key component in ICL. Leveraging the fact that a two-layer transformer can implement the induction head mechanism with associative memories, we theoretically analyze the logits when a two-layer transformer is given prompts generated by a bigram model. In the experiments, we design specific prompts to evaluate whether the outputs of a two-layer transformer align with the theoretical results.
• Abstract（参考訳）: In-context Learning (ICL) は、プロンプト内で提供されるコンテキスト情報を活用することで、微調整をすることなく、大きな言語モデル(LLM)が新しいタスクに適応できるようにする。 しかし、ICLは文脈的手がかりだけでなく、次のトークン予測の事前訓練中に得られたグローバル知識にも依存している。 LLMの複雑な計算回路のため、このプロセスの分析は困難である。 本稿では,ICLのキーコンポーネントである誘導ヘッド機構に着目し,トークン予測における文脈内情報と事前学習したビッグラム知識のバランスについて検討する。 2層トランスが誘導ヘッド機構を連想記憶で実装できるという事実を利用して、2層トランスがビッグラムモデルによって生成されたプロンプトを与えられたときのロジットを理論的に解析する。 実験では、2層トランスの出力が理論結果と一致しているかどうかを評価するための特定のプロンプトを設計する。

関連論文リスト

• Emergence of Abstractions: Concept Encoding and Decoding Mechanism for In-Context Learning in Transformers [18.077009146950473]
  自己回帰変換器は文脈内学習(ICL)を通して適応学習を示す 変換器の表現において内部抽象をどう形成し、どのように利用するかを研究することにより、ICLを説明するための符号化・復号機構を提案する。 私たちの経験的洞察は、その表現を通じて、大きな言語モデルの成功と失敗モードの理解を深めました。
  論文  参考訳（メタデータ） (2024-12-16T19:00:18Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• How Do Nonlinear Transformers Learn and Generalize in In-Context Learning? [82.51626700527837]
  トランスフォーマーベースの大規模言語モデルでは、トレーニング済みのモデルが微調整なしで新しいタスクを処理できるような、コンテキスト内学習機能が印象的だった。 我々は、TransformerがICLを実現する方法の仕組みが、Transformerにおけるトレーニング問題の技術的課題にどのように貢献するかを分析する。
  論文  参考訳（メタデータ） (2024-02-23T21:07:20Z)
• Towards Understanding How Transformers Learn In-context Through a Representation Learning Lens [9.590540796223715]
  本稿では,表現学習のレンズを用いて,トランスフォーマーにおける文脈内学習プロセスについて検討する。 注目層のICL推論プロセスは、その2重モデルのトレーニング手順と整合し、トークン表現予測を生成する。 理論的結論は、1つのトランスフォーマー層と複数の注意層を含む、より複雑なシナリオにまで拡張します。
  論文  参考訳（メタデータ） (2023-10-20T01:55:34Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Birth of a Transformer: A Memory Viewpoint [25.294093283819443]
  トランスフォーマーに基づく大規模言語モデルは、経験的成功を収めた。 より広くデプロイされているため、より信頼性を高めるために、内部メカニズムをよりよく理解する必要がある。 本研究では,グローバルあるいはコンテキスト固有のビッグラムからトークンが生成される合成セットアップを考慮し,これらの2種類の知識分布のバランスについて検討する。
  論文  参考訳（メタデータ） (2023-06-01T15:30:33Z)
• Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
  マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。 本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
  論文  参考訳（メタデータ） (2020-02-17T19:06:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。