論文の概要: Mechanics of Next Token Prediction with Self-Attention
- arxiv url: http://arxiv.org/abs/2403.08081v1
- Date: Tue, 12 Mar 2024 21:15:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 16:22:34.107432
- Title: Mechanics of Next Token Prediction with Self-Attention
- Title(参考訳): 自己注意による次のトークン予測の力学
- Authors: Yingcong Li, Yixiao Huang, M. Emrullah Ildiz, Ankit Singh Rawat, Samet
Oymak
- Abstract要約: トランスフォーマーベースの言語モデルは、入力シーケンスが与えられた次のトークンを予測するために、大きなデータセットでトレーニングされる。
勾配降下による自己注意の訓練は,次のトークンを2つの異なるステップで生成するオートマトンを学習することを示す。
これらの発見が、どのように自己認識がシーケンシャルなデータをどのように処理し、より複雑なアーキテクチャをデミステライズする道を開くか、光を当てることを願っています。
- 参考スコア(独自算出の注目度): 41.82477691012942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based language models are trained on large datasets to predict
the next token given an input sequence. Despite this simple training objective,
they have led to revolutionary advances in natural language processing.
Underlying this success is the self-attention mechanism. In this work, we ask:
$\textit{What}$ $\textit{does}$ $\textit{a}$ $\textit{single}$
$\textit{self-attention}$ $\textit{layer}$ $\textit{learn}$ $\textit{from}$
$\textit{next-token}$ $\textit{prediction?}$ We show that training
self-attention with gradient descent learns an automaton which generates the
next token in two distinct steps: $\textbf{(1)}$ $\textbf{Hard}$
$\textbf{retrieval:}$ Given input sequence, self-attention precisely selects
the $\textit{high-priority}$ $\textit{input}$ $\textit{tokens}$ associated with
the last input token. $\textbf{(2)}$ $\textbf{Soft}$ $\textbf{composition:}$ It
then creates a convex combination of the high-priority tokens from which the
next token can be sampled. Under suitable conditions, we rigorously
characterize these mechanics through a directed graph over tokens extracted
from the training data. We prove that gradient descent implicitly discovers the
strongly-connected components (SCC) of this graph and self-attention learns to
retrieve the tokens that belong to the highest-priority SCC available in the
context window. Our theory relies on decomposing the model weights into a
directional component and a finite component that correspond to hard retrieval
and soft composition steps respectively. This also formalizes a related
implicit bias formula conjectured in [Tarzanagh et al. 2023]. We hope that
these findings shed light on how self-attention processes sequential data and
pave the path toward demystifying more complex architectures.
- Abstract(参考訳): トランスフォーマーベースの言語モデルは、入力シーケンスが与えられた次のトークンを予測するために、大きなデータセットでトレーニングされる。
この単純な訓練目標にもかかわらず、自然言語処理の革命的な進歩につながった。
この成功の根底にあるのは、自己認識のメカニズムです。
$\textit{What}$ $\textit{does}$ $\textit{a}$ $\textit{single}$ $\textit{self-attention}$ $\textit{layer}$ $\textit{learn}$ $\textit{from}$ $\textit{next-token}$ $\textit{prediction?
$\textbf{(1)}$ $\textbf{Hard}$ $\textbf{retrieval:}$ given input sequence, self-attention exactlys the $\textit{high-priority}$ $\textit{input}$ $\textit{tokens}$ associated with the last input token。
$\textbf{(2)}$ $\textbf{Soft}$ $\textbf{composition:}$ 次に、次のトークンをサンプリングできる高優先度トークンの凸結合を生成する。
適切な条件下では、トレーニングデータから抽出したトークン上の有向グラフを通じて、これらの力学を厳格に特徴付ける。
我々は,このグラフの強結合成分(SCC)を暗黙的に発見し,自己注意がコンテキストウィンドウで利用可能な最優先のSCCに属するトークンを取得することを証明した。
我々の理論は、モデルの重みを、それぞれハード・検索とソフト・コンポジションのステップに対応する方向成分と有限成分に分解することに依存している。
これはまた [Tarzanagh et al 2023] で予想される関連する暗黙バイアス公式を定式化する。
これらの発見が、どのように自己認識がシーケンシャルなデータをどのように処理し、より複雑なアーキテクチャをデミステライズする道を開くか、光を当てることを願っています。
関連論文リスト
- Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳(メタデータ) (2024-02-06T15:39:09Z) - Object Recognition as Next Token Prediction [105.334222837841]
オブジェクト認識を次のトークン予測として提案する。
その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
論文 参考訳(メタデータ) (2023-12-04T18:58:40Z) - Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。
代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう?
私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
論文 参考訳(メタデータ) (2023-10-03T17:32:41Z) - Scan and Snap: Understanding Training Dynamics and Token Composition in
1-layer Transformer [37.37547759817417]
トランスフォーマーアーキテクチャは、複数の研究領域で顕著な性能を示している。
我々は、次のトークン予測タスクのためのSGDトレーニングダイナミクスを解析する。
自己注意が自己識別型スキャンアルゴリズムとして機能することを証明する。
論文 参考訳(メタデータ) (2023-05-25T15:59:13Z) - Dual-Level Decoupled Transformer for Video Captioning [15.193977761440404]
ビデオキャプションは、ビデオの意味概念を理解し、記述文を生成することを目的としている。
MathcalD2$はデュアルレベルの視覚分離型トランスフォーマーパイプラインである。
emph(i)をビデオ時間表現に用い,その過程を「第1空間時間」パラダイムに分離する。
論文 参考訳(メタデータ) (2022-05-06T06:37:07Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳(メタデータ) (2022-05-03T12:09:59Z) - Accurately Modeling Biased Random Walks on Weighted Graphs Using
$\textit{Node2vec+}$ [0.0]
私たちは、ウォークバイアスを計算する際のエッジウェイトを考慮に入れながら、$textitnode2vec$から$textitnode2vec+$に拡張します。
重み付きグラフでは、$textitnode2vec+$は、$textitnode2vec$よりも付加的なノイズに対して堅牢であることを示す。
また、通常ベンチマークされたマルチラベルデータセット上で、$textitnode2vec+$が$textitnode2vec$を大幅に上回っていることも示しています。
論文 参考訳(メタデータ) (2021-09-15T17:59:25Z) - Categorical Representation Learning: Morphism is All You Need [0.0]
分類表現学習のための構築と「$textitcategorifier$」の基礎について紹介する。
データセット内のすべてのオブジェクト$mathcals$は$textitencoding map$ $e: mathcalobj(mathcals)tomathbbrn$によって$mathbbrn$のベクトルとして表現できる。
概念実証として,我々の技術を搭載したテキスト翻訳者の例を示し,分類的学習モデルがそれを上回ることを示す。
論文 参考訳(メタデータ) (2021-03-26T23:47:15Z) - Adversarial Linear Contextual Bandits with Graph-Structured Side
Observations [80.95090605985042]
学習エージェントは、$d$-dimensionalコンテキストベクトルで提示された後、一連の$k$アクションから繰り返し選択する。
エージェントは選択されたアクションの損失を誘発し、観察するが、観察構造における隣り合うアクションの損失も観察する。
textttEXP3に基づく2つの効率的なアルゴリズムが開発された。
論文 参考訳(メタデータ) (2020-12-10T15:40:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。