論文の概要: Emergence of Abstractions: Concept Encoding and Decoding Mechanism for In-Context Learning in Transformers

• arxiv url: http://arxiv.org/abs/2412.12276v2
• Date: Wed, 18 Dec 2024 06:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:25:29.956012
• Title: Emergence of Abstractions: Concept Encoding and Decoding Mechanism for In-Context Learning in Transformers
• Title（参考訳）: 抽象の創発:変圧器におけるインテクスト学習のための概念エンコーディングと復号機構
• Authors: Seungwook Han, Jinyeop Song, Jeff Gore, Pulkit Agrawal,
• Abstract要約: 自己回帰変換器は文脈内学習(ICL)を通して適応学習を示す 変換器の表現において内部抽象をどう形成し、どのように利用するかを研究することにより、ICLを説明するための符号化・復号機構を提案する。 私たちの経験的洞察は、その表現を通じて、大きな言語モデルの成功と失敗モードの理解を深めました。
• 参考スコア（独自算出の注目度）: 18.077009146950473
• License:
• Abstract: Humans distill complex experiences into fundamental abstractions that enable rapid learning and adaptation. Similarly, autoregressive transformers exhibit adaptive learning through in-context learning (ICL), which begs the question of how. In this paper, we propose concept encoding-decoding mechanism to explain ICL by studying how transformers form and use internal abstractions in their representations. On synthetic ICL tasks, we analyze the training dynamics of a small transformer and report the coupled emergence of concept encoding and decoding. As the model learns to encode different latent concepts (e.g., ``Finding the first noun in a sentence.") into distinct, separable representations, it concureently builds conditional decoding algorithms and improve its ICL performance. We validate the existence of this mechanism across pretrained models of varying scales (Gemma-2 2B/9B/27B, Llama-3.1 8B/70B). Further, through mechanistic interventions and controlled finetuning, we demonstrate that the quality of concept encoding is causally related and predictive of ICL performance. Our empirical insights shed light into better understanding the success and failure modes of large language models via their representations.
• Abstract（参考訳）: 人間は複雑な経験を、素早い学習と適応を可能にする基本的な抽象化に蒸留する。 同様に、自己回帰変換器は、文脈内学習(ICL)を通して適応学習を示す。 本稿では、変換器が内部抽象をどのように形成し、その表現に利用するかを研究することにより、ICLを説明するための符号化・復号機構を提案する。 合成ICLタスクでは,小型変圧器のトレーニングダイナミクスを解析し,概念符号化と復号の同時発生を報告する。 モデルは、異なる潜在概念(例: ` ``Finding the first noun in a sentence.)を独立した分離可能な表現に符号化することで、条件付き復号アルゴリズムを並列に構築し、ICLのパフォーマンスを向上させる。 様々なスケールの事前学習モデル(Gemma-2 2B/9B/27B, Llama-3.1 8B/70B)でこのメカニズムの存在を検証した。 さらに、機械的介入と制御された微調整により、概念符号化の品質がICL性能の因果関係と予測的であることを実証した。 私たちの経験的洞察は、その表現を通じて、大きな言語モデルの成功と失敗モードの理解を深めました。

関連論文リスト

• Understanding Knowledge Hijack Mechanism in In-context Learning through Associative Memory [37.93644115914534]
  In-context Learning (ICL) は、大規模言語モデルが微調整なしで新しいタスクに適応できるようにする。 本稿では,トークン予測における文脈内情報と事前学習したビッグラム知識のバランスについて検討する。
  論文  参考訳（メタデータ） (2024-12-16T05:33:05Z)
• Sparse autoencoders reveal selective remapping of visual concepts during adaptation [54.82630842681845]
  特定の目的のために基礎モデルを適用することは、機械学習システムを構築するための標準的なアプローチとなっている。 PatchSAEと呼ばれるCLIPビジョントランスのための新しいスパースオートエンコーダ(SAE)を開発し、解釈可能な概念を抽出する。
  論文  参考訳（メタデータ） (2024-12-06T18:59:51Z)
• Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
  トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。 この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
  論文  参考訳（メタデータ） (2024-11-04T15:54:32Z)
• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Towards Understanding How Transformers Learn In-context Through a Representation Learning Lens [9.590540796223715]
  本稿では,表現学習のレンズを用いて,トランスフォーマーにおける文脈内学習プロセスについて検討する。 注目層のICL推論プロセスは、その2重モデルのトレーニング手順と整合し、トークン表現予測を生成する。 理論的結論は、1つのトランスフォーマー層と複数の注意層を含む、より複雑なシナリオにまで拡張します。
  論文  参考訳（メタデータ） (2023-10-20T01:55:34Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。