論文の概要: Putting Transformer Theories to the Test

• arxiv url: http://arxiv.org/abs/2610.32104v1
• Date: Fri, 23 Oct 2026 03:07:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.332489
• Title: Putting Transformer Theories to the Test
• Title（参考訳）: 変圧器理論をテストに当てる
• Abstract要約: 変換器の能力に関する7つの理論をマッピングし、その結果を予測の共通行列に変換する。 成功と失敗の観察されたパターンを説明する理論はひとつもありません。
• 参考スコア（独自算出の注目度）: 9.00036438579706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Several formal theories have been developed to characterize the capabilities and limitations of the transformer architecture, each employing different abstractions that capture different features of the architecture. Due to the differences in their underlying assumptions and conceptual frameworks, these theories can disagree in their predictions about what tasks transformers find easy or hard. We map out seven theories of transformer capability (Star-free, $\mathsf{AC}^0$, $\mathsf{TC}^0$, C-RASP, MPC, BAPO, and Sensitivity) and translate their results into a common matrix of predictions across a suite of tasks covering different computational structures. We provide new theoretical results to complete this matrix. We then evaluate theoretical predictions through controlled experiments measuring in-distribution sample complexity, length generalization, and pretrained language model performance. We find that no single theory explains the observed pattern of successes and failures. When a theory does not capture the transformer behaviors relevant to a task, its predictions break down; for instance, we show that the $k$-hop induction task is predicted hard by C-RASP because it does not model content-dependent attention, but we train small transformers on this task that length-generalize. Similarly, theories assuming hard attention like $\mathsf{AC}^0$ and BAPO predict binary majority to be hard, for which we also find success in practice. Together, our results point to several specific features that a theory of transformers must capture: soft rather than hard attention, dynamic content-dependent retrieval, bounded computation at each position, an account of learnability and inductive biases, and a combination of upper and lower bounds.
• Abstract（参考訳）: トランスフォーマーアーキテクチャの能力と限界を特徴付けるために、いくつかの形式理論が開発され、それぞれがアーキテクチャの異なる特徴を捉えた異なる抽象化を採用している。 基礎となる仮定と概念的枠組みの違いから、これらの理論はトランスフォーマーが容易に、あるいは難しいと感じているタスクについて予測に異を唱えることがある。 変換器の能力に関する7つの理論(Star-free, $\mathsf{AC}^0$, $\mathsf{TC}^0$, C-RASP, MPC, BAPO, Sensitivity)をマッピングし、それらの結果を様々な計算構造をカバーする一連のタスクの共通行列に変換する。 我々はこの行列を完成させるための新しい理論的結果を提供する。 そこで我々は,分散サンプルの複雑さ,長さの一般化,事前学習言語モデルの性能を測定する制御実験により,理論的予測を評価する。 成功と失敗の観察されたパターンを説明する理論はひとつもありません。 例えば、$k$-hop誘導タスクは、コンテンツ依存の注意をモデル化しないため、C-RASPによって強く予測されるが、このタスクで長大に一般化した小さなトランスフォーマーを訓練する。 同様に、$\mathsf{AC}^0$ や BAPO のようなハード・アテンションを仮定する理論は、バイナリ・マジョリティが難しいと予測する。 その結果, コンテントに依存した動的検索, 各位置の有界計算, 学習可能性および帰納バイアスの計算, 上界と下界の組み合わせなど, トランスフォーマーの理論が捉えるべきいくつかの特徴が示された。

関連論文リスト

• Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks [50.79340930913805]
  文献で知られているいくつかの合成タスクを統一する帰納的タスクのクラスについて検討する。 低次元力学現象として回路形成を鋳造することにより、トランスフォーマーの学習方法に関する予測理論へと進む。
  論文  参考訳（メタデータ） (2026-07-13T17:56:11Z)
• Mixture-of-Transformers Learn Faster: A Theoretical Study on Classification Problems [59.94955550958074]
  本研究では,各変圧器ブロックが連続的に訓練されたゲーティングネットワークによって制御される専門家として機能する,トラクタブルな理論的枠組みについて検討する。 専門家の専門化は、勾配の衝突を減らし、各サブタスクを強く凸させることを示す。 トレーニングによって予測損失が$O(log(epsilon-1)$のステップでゼロに近づき、単一変圧器の$O(epsilon-1)$のレートよりも大幅に向上することが証明された。
  論文  参考訳（メタデータ） (2025-10-30T21:07:36Z)
• Universal Approximation Theorem for a Single-Layer Transformer [0.0]
  ディープラーニングでは、バックプロパゲーションアルゴリズムによってトレーニングされた多層ニューラルネットワークを採用している。 トランスフォーマーは自然言語処理において最先端のパフォーマンスを達成した。 本研究では,ReLUアクティベーション付き位置対応フィードフォワードネットワークを付加した自己アテンション層からなる単一層トランスフォーマーが,コンパクト領域上の連続シーケンス・ツー・シーケンスマッピングを任意の精度で実現可能であることを証明した。
  論文  参考訳（メタデータ） (2025-07-11T11:37:39Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis [82.51626700527835]
  チェーン・オブ・シフト(Chain-of-shift, CoT)は、複数の中間ステップを持つ例を用いてクエリを増強することにより、大規模言語モデルの推論能力を実現する効率的な手法である。 CoT の理論的成功にもかかわらず、CoT が成立しても正確な一般化が得られないことを示す。
  論文  参考訳（メタデータ） (2024-10-03T03:12:51Z)
• Dissecting the Interplay of Attention Paths in a Statistical Mechanics Theory of Transformers [14.59741397670484]
  本稿では,トランスフォーマーと密接な関係を持つ深層多頭部自己注意ネットワークについて考察する。 このモデルでベイズ学習の統計力学理論を開発する。 合成および実世界のシーケンス分類タスクについて,本研究の成果を確認した。
  論文  参考訳（メタデータ） (2024-05-24T20:34:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。