論文の概要: Attention with Markov: A Framework for Principled Analysis of Transformers via Markov Chains

• arxiv url: http://arxiv.org/abs/2402.04161v1
• Date: Tue, 6 Feb 2024 17:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 13:53:42.497582
• Title: Attention with Markov: A Framework for Principled Analysis of Transformers via Markov Chains
• Title（参考訳）: Markovへの注意: Markov Chainsによるトランスフォーマーの原則分析フレームワーク
• Authors: Ashok Vardhan Makkuva, Marco Bondaschi, Adway Girish, Alliot Nagle, Martin Jaggi, Hyeji Kim, Michael Gastpar
• Abstract要約: マルコフ連鎖のレンズによる変圧器の逐次モデリング機能について検討する。 自然言語のマルコフ性に触発され、マルコフの情報源としてデータをモデル化する。 我々は,データ特性とトランスフォーマーアーキテクチャに基づいて,グローバルなミニマと悪いローカルなミニマの存在を示す。
• 参考スコア（独自算出の注目度）: 48.146073732531605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, attention-based transformers have achieved tremendous success across a variety of disciplines including natural languages. A key ingredient behind their success is the generative pretraining procedure, during which these models are trained on a large text corpus in an auto-regressive manner. To shed light on this phenomenon, we propose a new framework that allows both theory and systematic experiments to study the sequential modeling capabilities of transformers through the lens of Markov chains. Inspired by the Markovianity of natural languages, we model the data as a Markovian source and utilize this framework to systematically study the interplay between the data-distributional properties, the transformer architecture, the learnt distribution, and the final model performance. In particular, we theoretically characterize the loss landscape of single-layer transformers and show the existence of global minima and bad local minima contingent upon the specific data characteristics and the transformer architecture. Backed by experiments, we demonstrate that our theoretical findings are in congruence with the empirical results. We further investigate these findings in the broader context of higher order Markov chains and deeper architectures, and outline open problems in this arena. Code is available at \url{https://github.com/Bond1995/Markov}.
• Abstract（参考訳）: 近年、注目に基づくトランスフォーマーは自然言語を含む様々な分野において大きな成功を収めている。 彼らの成功の背後にある重要な要素は、生成前訓練の手順であり、これらのモデルが自動回帰的な方法で大きなテキストコーパスで訓練される。 この現象を解明するために,マルコフ連鎖のレンズによる変圧器の逐次モデリング能力について,理論と系統実験の両方で研究できる新しい枠組みを提案する。 自然言語のマルコビアン性に触発されて、データをマルコビアンソースとしてモデル化し、このフレームワークを用いて、データ分散特性、トランスフォーマアーキテクチャ、学習分布、最終的なモデル性能の間の相互作用を体系的に研究する。 特に, 単一層トランスの損失景観を理論的に特徴付け, 特定のデータ特性と変圧器アーキテクチャに基づいて, 大域的ミニマと悪い局所ミニマの存在を示す。 実験により,実験結果と理論的な結果が一致していることが実証された。 我々は,より高次マルコフ連鎖とより深いアーキテクチャの広い文脈でこれらの知見をさらに調査し,この領域におけるオープン問題を概説する。 コードは \url{https://github.com/bond1995/markov} で入手できる。

関連論文リスト

• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Transformers on Markov Data: Constant Depth Suffices [25.83132046480226]
  我々は、kth Markovプロセスから引き出されたデータに対するトランスフォーマーの挙動について検討する。 固定深さと1層あたり1ドルヘッドを持つ変圧器は、kth Markovソースから引き出されたシーケンスに対して、低いテスト損失を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T01:07:09Z)
• Local to Global: Learning Dynamics and Effect of Initialization for Transformers [20.02103237675619]
  我々は一階マルコフ連鎖と単層変圧器に焦点をあてる。 我々は,次世代の予測損失に基づいてトレーニングしたトランスフォーマーパラメータが,グローバルあるいはローカルのミニマに収束可能であることを証明した。
  論文  参考訳（メタデータ） (2024-06-05T08:57:41Z)
• From Self-Attention to Markov Models: Unveiling the Dynamics of Generative Transformers [41.82477691012942]
  本研究では,一連のプロンプトと関連する出力データから1層自己注意モデルを学習する。 まず、自己注意機構とマルコフモデルとの正確なマッピングを確立する。 我々は,自己注意による生成過程が崩壊し,トークンの限られた部分集合をサンプリングする,興味深い勝者とあらゆる現象を特徴付ける。
  論文  参考訳（メタデータ） (2024-02-21T03:51:34Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)
• Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
  我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。 我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。 これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
  論文  参考訳（メタデータ） (2020-06-05T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。