論文の概要: Transformers on Markov Data: Constant Depth Suffices

• arxiv url: http://arxiv.org/abs/2407.17686v1
• Date: Thu, 25 Jul 2024 01:07:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 15:37:23.601074
• Title: Transformers on Markov Data: Constant Depth Suffices
• Title（参考訳）: Markovデータ上のトランスフォーマー: 一定の深さで十分
• Authors: Nived Rajaraman, Marco Bondaschi, Kannan Ramchandran, Michael Gastpar, Ashok Vardhan Makkuva,
• Abstract要約: 我々は、kth Markovプロセスから引き出されたデータに対するトランスフォーマーの挙動について検討する。 固定深さと1層あたり1ドルヘッドを持つ変圧器は、kth Markovソースから引き出されたシーケンスに対して、低いテスト損失を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 25.83132046480226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention-based transformers have been remarkably successful at modeling generative processes across various domains and modalities. In this paper, we study the behavior of transformers on data drawn from \kth Markov processes, where the conditional distribution of the next symbol in a sequence depends on the previous $k$ symbols observed. We observe a surprising phenomenon empirically which contradicts previous findings: when trained for sufficiently long, a transformer with a fixed depth and $1$ head per layer is able to achieve low test loss on sequences drawn from \kth Markov sources, even as $k$ grows. Furthermore, this low test loss is achieved by the transformer's ability to represent and learn the in-context conditional empirical distribution. On the theoretical side, our main result is that a transformer with a single head and three layers can represent the in-context conditional empirical distribution for \kth Markov sources, concurring with our empirical observations. Along the way, we prove that \textit{attention-only} transformers with $O(\log_2(k))$ layers can represent the in-context conditional empirical distribution by composing induction heads to track the previous $k$ symbols in the sequence. These results provide more insight into our current understanding of the mechanisms by which transformers learn to capture context, by understanding their behavior on Markov sources.
• Abstract（参考訳）: アテンションベースのトランスフォーマーは、様々な領域やモダリティにわたる生成プロセスをモデル化することに成功した。 本稿では,次のシンボルの列における条件分布が観測された以前の$k$のシンボルに依存するような,<kth Markov>プロセスから引き出されたデータに対する変換器の挙動について検討する。 十分な長さで訓練すると,1層あたり1ドルずつの深さを持つ変圧器は,k$が成長しても,kth Markovソースから引き出されたシーケンスに対して低い試験損失を達成できる。 さらに、この低いテスト損失は、コンテクスト内条件付き経験分布を表現および学習するトランスフォーマーの能力によって達成される。 理論的には、1つの頭部と3つの層を持つ変圧器は、我々の経験的観察と一致して、kth Markov源の文脈内条件付き経験的分布を表現できる。 その過程で、$O(\log_2(k))$レイヤを持つ \textit{attention-only} 変換器は、インジェクションヘッドを構成することで、シーケンス内の以前の$k$シンボルを追跡することで、コンテキスト内の条件付き経験的分布を表現できることを示す。 これらの結果は、マルコフ源の行動を理解することによって、トランスフォーマーが文脈を捉えることを学習するメカニズムの現在の理解について、より深い洞察を与えてくれる。

関連論文リスト

• Local to Global: Learning Dynamics and Effect of Initialization for Transformers [20.02103237675619]
  我々は一階マルコフ連鎖と単層変圧器に焦点をあてる。 我々は,次世代の予測損失に基づいてトレーニングしたトランスフォーマーパラメータが,グローバルあるいはローカルのミニマに収束可能であることを証明した。
  論文  参考訳（メタデータ） (2024-06-05T08:57:41Z)
• Toward a Theory of Tokenization in LLMs [26.516041872337887]
  本稿では, 簡単なデータ生成プロセスにおいて, 変圧器の挙動を研究することによって, 理論的観点からトークン化について検討する。 変換器によって学習された最も単純なユニグラムモデルでさえ、$ktextth$-order Markovソースから引き出されたシーケンスの確率を最適にモデル化できることを示す。
  論文  参考訳（メタデータ） (2024-04-12T09:01:14Z)
• How Transformers Learn Causal Structure with Gradient Descent [49.808194368781095]
  自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。 我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。 我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
  論文  参考訳（メタデータ） (2024-02-22T17:47:03Z)
• The Evolution of Statistical Induction Heads: In-Context Learning Markov Chains [28.41876902994335]
  In-context Learning (ICL) 機能がどのように出現するかを研究するために,Markov Chain シーケンスモデリングタスクを導入する。 このタスクで訓練されたトランスフォーマーは、正確な次の確率を計算するための統計的誘導ヘッドを形成する。 本研究では, 変圧器層間の相互作用から学習結果が得られたことを示し, より単純なユニグラム解の存在が最終ビッグラム解の形成を遅らせる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:36Z)
• Attention with Markov: A Framework for Principled Analysis of Transformers via Markov Chains [48.146073732531605]
  マルコフ連鎖のレンズによる変圧器の逐次モデリング機能について検討する。 自然言語のマルコフ性に触発され、マルコフの情報源としてデータをモデル化する。 我々は,データ特性とトランスフォーマーアーキテクチャに基づいて,グローバルなミニマと悪いローカルなミニマの存在を示す。
  論文  参考訳（メタデータ） (2024-02-06T17:18:59Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Trained Transformers Learn Linear Models In-Context [39.56636898650966]
  トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した 線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
  論文  参考訳（メタデータ） (2023-06-16T15:50:03Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• Transformer Feed-Forward Layers Are Key-Value Memories [49.52087581977751]
  トランス言語モデルにおけるフィードフォワード層がキーバリューメモリとして動作することを示す。 学習したパターンは人間と解釈可能であり、下層は浅いパターンをキャプチャする傾向にあり、上層はセマンティックなパターンを学ぶ傾向にある。
  論文  参考訳（メタデータ） (2020-12-29T19:12:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。