論文の概要: The Role of Feed-Forward Layers in Transformer Dynamics

• arxiv url: http://arxiv.org/abs/2609.36230v1
• Date: Mon, 28 Sep 2026 20:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.002512
• Title: The Role of Feed-Forward Layers in Transformer Dynamics
• Title（参考訳）: トランスダイナミクスにおけるフィードフォワード層の役割
• Abstract要約: 制御理論の観点から, 変圧器におけるトークンの動的挙動について検討する。 我々の主要な理論的結果は、フィードフォワードネットワークがトークンを任意にコンセンサスに近づけることができることを証明している。
• 参考スコア（独自算出の注目度）: 39.96555046868554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the dynamical behavior of tokens in transformers from a control-theoretic perspective. Our model includes the feed-forward layer present after the self-attention mechanism, with the self-attention mechanism interpreted as an interacting particle system and the feed-forward layer as an independent control. Our main theoretical result establishes that the feed-forward network can steer the tokens arbitrarily close to consensus regardless of the key, query, and value matrices. Our result are easily extended to convergence to many clusters and to multi-head attention. We conduct numerical experiments to verify our results, and compare thresholding behavior from our theory to real-world LLMs.
• Abstract（参考訳）: 制御理論の観点から, 変圧器におけるトークンの動的挙動について検討する。 本モデルでは, 自己保持機構の後に存在するフィードフォワード層と, 相互作用粒子系として解釈された自己保持機構と, フィードフォワード層を独立制御として含む。 我々の主要な理論的結果は、キー、クエリ、バリュー行列に関わらず、フィードフォワードネットワークがトークンを任意にコンセンサスに近づけることができることを証明している。 我々の結果は容易に多くのクラスタに収束し、マルチヘッドの注意に向けられる。 実験の結果を検証し,我々の理論と実世界のLLMのしきい値の挙動を比較した。

関連論文リスト

• Controlled Dynamics Attractor Transformer [58.15454173718687]
  トランスフォーマーアーキテクチャは自己認識機構を通じて深層モデルにおける高度な表現学習と推論を行う。 並行して、連想記憶(AM)フレームワークはエネルギーランドスケープに表現をマッピングし、解釈可能な検索メカニズムを提供する。 我々は,ミセス・フィッシャー (Mo-vMF) の注意エネルギーとホップフィールド精製エネルギーを混合した制御型ダイナミクス・アトラクタ変換器 (CCAT) を提案する。 CCATは、グラフ異常検出とグラフ分類において、複数のベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-06-13T09:04:22Z)
• Transformers as Multi-task Learners: Decoupling Features in Hidden Markov Models [12.112842686827669]
  トランスフォーマーベースのモデルは、幅広いタスクにわたってシーケンス学習において顕著な能力を示している。 マルチタスク一般化能力の基盤となるメカニズムを明らかにするために,トランスフォーマーの階層的挙動について検討する。 我々の明示的な構成は経験的観察と密接に一致し、様々なタスクにわたるシーケンス学習におけるトランスフォーマーの有効性と効率の理論的支援を提供する。
  論文  参考訳（メタデータ） (2025-06-02T17:39:31Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• A Theoretical Analysis of Self-Supervised Learning for Vision Transformers [66.08606211686339]
  マスク付きオートエンコーダ(MAE)とコントラスト学習(CL)は異なる種類の表現をキャプチャする。 我々は,MAEとCLの両目的に対して,一層ソフトマックス型視覚変換器(ViT)のトレーニングダイナミクスについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T17:24:03Z)
• Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling [10.246977481606427]
  ドット積自己注意などのトランスフォーマーの異なる成分が表現力に影響を及ぼすメカニズムについて検討する。 本研究では,トランスフォーマーにおける臨界パラメータの役割を明らかにする。
  論文  参考訳（メタデータ） (2024-02-01T11:43:13Z)
• Stochastic Layers in Vision Transformers [85.38733795180497]
  視覚変換器の完全な層を導入し,性能を著しく低下させることなく実現した。 この追加により、視覚機能の堅牢性が向上し、プライバシーが強化される。 私たちの機能は3つの異なるアプリケーション、すなわち、敵の堅牢性、ネットワークキャリブレーション、機能プライバシに使用しています。
  論文  参考訳（メタデータ） (2021-12-30T16:07:59Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。