論文の概要: Flowing Through Layers: A Continuous Dynamical Systems Perspective on Transformers

• arxiv url: http://arxiv.org/abs/2502.05656v1
• Date: Sat, 08 Feb 2025 18:11:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:29:39.743635
• Title: Flowing Through Layers: A Continuous Dynamical Systems Perspective on Transformers
• Title（参考訳）: 層を流れる: 変圧器の継続的な動的システム展望
• Authors: Jacob Fein-Ashley,
• Abstract要約: 本稿では,変圧器の標準離散更新規則を連続力学系の前方オイラー離散化として自然に解釈できることを示す。 我々のTransformer Flow Approximation Theoremは、標準的なリプシッツ連続性仮定の下で、トークン表現が、層の数が増えるにつれてODEのユニークな解に一様収束することを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We show that the standard discrete update rule of transformer layers can be naturally interpreted as a forward Euler discretization of a continuous dynamical system. Our Transformer Flow Approximation Theorem demonstrates that, under standard Lipschitz continuity assumptions, token representations converge uniformly to the unique solution of an ODE as the number of layers grows. Moreover, if the underlying mapping satisfies a one-sided Lipschitz condition with a negative constant, the resulting dynamics are contractive, causing perturbations to decay exponentially across layers. Beyond clarifying the empirical stability and expressivity of transformer models, these insights link transformer updates to a broader iterative reasoning framework, suggesting new avenues for accelerated convergence and architectural innovations inspired by dynamical systems theory.
• Abstract（参考訳）: 本稿では,変圧器の標準離散更新規則を連続力学系の前方オイラー離散化として自然に解釈できることを示す。 我々のTransformer Flow Approximation Theoremは、標準的なリプシッツ連続性仮定の下で、トークン表現が、層の数が増えるにつれてODEのユニークな解に一様収束することを示した。 さらに、基底写像が負の定数を持つ片側リプシッツ条件を満たすならば、結果として生じるダイナミクスは収縮的であり、摂動は層全体で指数関数的に崩壊する。 これらの洞察は、トランスフォーマーモデルの実証的な安定性と表現力を明確にするだけでなく、より広範な反復的推論フレームワークにトランスフォーマーのアップデートをリンクさせ、動的システム理論にインスパイアされた加速収束とアーキテクチャ革新のための新たな道のりを示唆している。

関連論文リスト

• Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
  隠れ状態遷移を制御する構造変調機構が導入された。 格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
  論文  参考訳（メタデータ） (2025-02-10T09:46:33Z)
• OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization [1.7180235064112577]
  制御方程式が変圧器ブロックによってパラメータ化される力学系を考える。 最適輸送理論を利用してトレーニング問題を正規化し、トレーニングの安定性を高め、結果として得られるモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2025-01-30T22:52:40Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• A Unified Framework for Interpretable Transformers Using PDEs and Information Theory [3.4039202831583903]
  本稿では、部分微分方程式(PDE)、ニューラルインフォメーションフロー理論、インフォメーション・ボトルネック理論を統合することでトランスフォーマーアーキテクチャを理解するための新しい統合理論フレームワークを提案する。 我々は、拡散、自己注意、非線形残留成分を含む連続的なPDEプロセスとしてトランスフォーマー情報力学をモデル化する。 画像およびテキストのモーダル性に関する包括的実験により、PDEモデルはトランスフォーマーの挙動の重要な側面を効果的に捉え、トランスフォーマーの注意分布と高い類似性(コサイン類似度 > 0.98)を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-18T16:16:57Z)
• Clustering in pure-attention hardmax transformers and its role in sentiment analysis [0.0]
  ハードマックス自己アテンションと正規化サブ層を有する変圧器の挙動を, 層数が無限大になる傾向があるため, 厳密に特徴づける。 変換器は、リーダーと呼ばれる特別な点によって決定されるクラスター平衡にインプット的に収束することを示す。 そして、この理論的理解を利用して、完全に解釈可能なトランスフォーマーモデルを用いて、言語処理から感情分析問題を解く。
  論文  参考訳（メタデータ） (2024-06-26T16:13:35Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Learning stochastic dynamics and predicting emergent behavior using transformers [0.0]
  ニューラルネットワークは,システムの1つの動的軌跡を観察することにより,システムの動的規則を学習可能であることを示す。 我々はモデルの1つの軌道上でトランスフォーマーと呼ばれるニューラルネットワークを訓練する。 変換器は、速度の明示的な列挙や構成空間の粗粒化なしに観察から動的規則を学習する柔軟性を持つ。
  論文  参考訳（メタデータ） (2022-02-17T15:27:21Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。