論文の概要: InfoFlow: A Framework for Multi-Layer Transformer Analysis

• arxiv url: http://arxiv.org/abs/2605.17930v1
• Date: Mon, 18 May 2026 06:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.925788
• Title: InfoFlow: A Framework for Multi-Layer Transformer Analysis
• Title（参考訳）: InfoFlow: マルチ層トランスフォーマー分析のためのフレームワーク
• Authors: Penghao Yu, Haotian Jiang, Zeyu Bao, Qianxiao Li,
• Abstract要約: 多層変圧器は単層変圧器と基本的に異なる近似能力を有する。 我々は多層トランスフォーマーのためのフレームワークInfoFlowを提案する。
• 参考スコア（独自算出の注目度）: 28.731784494689276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the approximation properties of single-layer Transformer architectures have been studied in recent works, a rigorous theoretical understanding of the multi-layer setting remains limited. In this work, we establish that multi-layer Transformers possess fundamentally different approximation capabilities from single-layer ones: for certain retrieval tasks, any single-layer Transformer requires least $Ω(\varepsilon^{-k})$ parameters to achieve precision $\varepsilon$, where $k$ grows linearly with sequence length $T$, whereas a two-layer Transformer with a single head per layer achieves the same approximation precision with at most $O (\varepsilon^{-1})$ parameters. To understand this separation, we identify two structural mechanisms underlying multi-layer approximation. Specifically, softmax attention can only efficiently retrieve the token attaining the maximum attention score, incurring exponential-in-length parameter cost for $k$-th largest retrieval with $k \geq 2$. Moreover, the parameter cost of decoding coupled information scales with the size of the retrieved token set. Motivated by these findings, we propose InfoFlow, a framework for multi-layer Transformers. The framework tracks an information set of accessible input positions at each token and layer, assigning an explicit approximation rate to each mode of information propagation. This abstraction recovers known approximation bounds, remains consistent with experimental observations on trained networks, and yields concrete predictions in settings where direct theoretical analysis is currently intractable. Our results provide a principled framework for reasoning about the approximation efficiency of multi-layer Transformers.
• Abstract（参考訳）: 単一層トランスフォーマーアーキテクチャの近似特性は近年研究されているが、多層配置に関する厳密な理論的理解は依然として限られている。 本研究は,多層トランスフォーマーが単層トランスフォーマーと基本的に異なる近似能力を有していることを証明した: 特定の検索タスクに対して,任意の単一層トランスフォーマーは,少なくとも$Ω(\varepsilon^{-k})$パラメータを必要とする 精度は$$\varepsilon$, ここで$k$はシーケンス長$T$で線形に成長するが,一方,単層トランスフォーマーは,少なくとも$O(\varepsilon^{-1})$パラメータで同じ近似精度を達成する。 この分離を理解するために,多層近似の基盤となる2つの構造機構を同定する。 具体的には、ソフトマックスアテンションは、最大アテンションスコアに達するトークンのみを効率的に取り出すことができ、$k \geq 2$の最大検索に対して指数的なパラメータコストを発生させる。 さらに、結合した情報をデコードするパラメータコストは、取得したトークンセットのサイズに比例してスケールする。 これらの知見に触発され,多層トランスフォーマーのフレームワークであるInfoFlowを提案する。 フレームワークは、各トークンとレイヤでアクセス可能な入力位置の情報を追跡し、各情報伝達モードに明示的な近似率を割り当てる。 この抽象化は、既知の近似境界を回復し、訓練されたネットワークの実験的な観測と整合性を維持し、直接理論解析が現在難解な環境で具体的な予測を行う。 本結果は,多層変換器の近似効率を推定するための基本的枠組みを提供する。

関連論文リスト

• Learning Theory of Transformers: Local-to-Global Approximation via Softmax Partition of Unity [5.37133760455631]
  本稿では,コンパクトユークリッド領域上の回帰タスクに対するトランスフォーマーネットワークの学習理論について検討する。 本稿では,対象関数の局所近似を構築し,それらを大域的近似に集約するトランスフォーマーの構成的近似フレームワークを提案する。 2つのエンコーダブロックと標準単層フィードフォワードネットワークを備えた高密度トランスフォーマーは、$$$Hlder連続関数に対して均一な$varepsilon$-approximation誤差を実現できることを示す。
  論文  参考訳（メタデータ） (2026-05-09T09:02:37Z)
• The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
  Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。 このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
  論文  参考訳（メタデータ） (2026-04-23T02:12:58Z)
• The Effect of Attention Head Count on Transformer Approximation [26.943083432025926]
  変圧器の近似特性について検討し,特に注目点数の役割に着目した。 具体的には、十分な数の頭を持つ変圧器は効率的な近似を許容するが、多くの頭を持つ場合、パラメータの数は少なくとも$O(1/epsiloncT)$で、一定の$c$とシーケンス長$T$でスケールしなければならない。
  論文  参考訳（メタデータ） (2025-10-08T05:27:25Z)
• Approximation Bounds for Transformer Networks with Application to Regression [9.549045683389085]
  H"older 関数と Sobolev 関数に対する Transformer ネットワークの近似機能について検討する。 シーケンス・ツー・シーケンス・マッピングを近似した標準トランスフォーマー・ネットワークのための新しい上限を確立する。 トランスフォーマーの自己アテンション層がカラム平均化を行うことができれば,ネットワークはシーケンス・ツー・シーケンスのH"older関数を近似することができることを示す。
  論文  参考訳（メタデータ） (2025-04-16T15:25:58Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Universality and Limitations of Prompt Tuning [65.8354898840308]
  トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。 連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。 この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
  論文  参考訳（メタデータ） (2023-05-30T06:47:07Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。