論文の概要: Exact-Solution Volume and Length Generalization in Transformers

• arxiv url: http://arxiv.org/abs/2610.07676v1
• Date: Tue, 06 Oct 2026 03:11:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.782048
• Title: Exact-Solution Volume and Length Generalization in Transformers
• Title（参考訳）: 変圧器の厳密解容積と長さ一般化
• Abstract要約: 精度の高い解の体積が入力長さで崩壊するほど、そのタスクで長さを一般化することが難しくなることを示す。 また, 体積分析は, 長さ感受性の具体的な源を特定する上で有用な手法であることも示唆した。
• 参考スコア（独自算出の注目度）: 7.982216925140546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research on transformer expressivity shows whether a transformer is capable of solving a given task, but gives little indication of whether the solution, if learned, is generalizable to longer input lengths. We study this question through normalized exact-solution volume (NESV): the fraction of a bounded parameter region that achieves an exact solution on every input of length $n$. For fixed-width, single-layer transformers with $\log n$-scaled attention, we establish asymptotic bounds on NESV for four tasks: FIRST ($Θ(1)$), MAJORITY ($Θ(1/(n\log n))$), INDEX ($Θ(1/n^3)$), and PARITY ($0$). These results are consistent with previous empirical results: the faster the exact-solution volume decays with input length, the harder it is to length-generalize on that task. Looking deeper into INDEX, our volume analysis reveals two error sources that grow with $n$. Consequently, we study a transformer model that would structurally eliminate one of the terms, theoretically improving the NESV bound to $Θ(n^{-1})$, and empirically achieving 85% accuracy when tested at $10\times$ the training length, compared with the 60% accuracy of the original model. We conclude that volume analysis may be a useful approach to identify concrete sources of length sensitivity and thus provide insights into task-specific model refinements.
• Abstract（参考訳）: 変換器表現性の研究は、変換器が与えられたタスクを解くことができるかどうかを示すが、学習すれば、より長い入力長に対して解が一般化可能であるかどうかはほとんど示さない。 正規化された厳密解体積 (NESV) を通してこの問題を研究し、長さ$n$の全ての入力に対して正確な解を得る有界パラメータ領域の分数を求める。 固定幅の単層変圧器の場合、$\log n$-scaled attention は 4 つのタスクに対して NESV 上の漸近的境界を確立する: FIRST$(n(1)$)、MAJORITY$(n/log n)$)、INDEX$(n^3)$)、PARITY$(0$)。 これらの結果は以前の経験的結果と一致する: 正確な解法体積が入力長さで崩壊するほど、そのタスクで長さを一般化することが難しくなる。 INDEXを詳しく調べると、ボリューム分析では、$n$で成長する2つのエラーソースが明らかになっている。 その結果,1つの項を構造的に排除し,理論上NESVを$(n^{-1})$に制限し,10\times$でテストした場合の85%の精度を,元のモデルの60%の精度と比較して実証的に達成するトランスフォーマーモデルについて検討した。 ボリューム分析は, 長さ感受性の具体的な情報源を同定し, タスク固有のモデル改良に関する洞察を与える上で有用な手法であると結論付けた。

関連論文リスト

• Same Flow, Different Paths: Variance Reduction in Flow Matching [67.12978375116599]
  最適化の観点から,この経路の選択について検討する。 我々の主な発見は、パス $g_t$ の選択は、SGDの収束率を根本的に変えることができるということである。
  論文  参考訳（メタデータ） (2026-09-15T15:01:04Z)
• Wavelet Variance Equipartition as a Threshold for World-Model Quality and Quantum Kernel TN-Simulability [0.0]
  我々はウェーブレットスケーリング指数$$を臨界診断として同定する。 振幅符号化された量子カーネルの古典的シミュラビリティのシャープな遷移境界として$=1/2$を確立する。 この分散は、厳密には$Var[X] = (d-2)$としてスケールする。
  論文  参考訳（メタデータ） (2026-05-12T05:41:12Z)
• Weight-Decay Turns Transformer Loss Landscapes Villani: Functional-Analytic Foundations for Optimization and Generalization [2.9582724435853858]
  本稿では,標準トランスフォーマーの目標-エントロピー損失を$L2$正規化した,厳密な機能解析手法として初めて提供する。 正規化損失 $mathcalF$ は無限微分可能であり、少なくとも二次的に成長し、ガウス積分可能な尾を持ち、微分成長条件 $-mathcalF + tfrac1s|nablamathcalF|2 を満たす。
  論文  参考訳（メタデータ） (2026-05-07T17:22:19Z)
• Standard Transformers Achieve the Minimax Rate in Nonparametric Regression with $C^{s,λ}$ Targets [8.844802588836059]
  本稿では,標準変換器がHlder関数を近似できることを示す最初の研究である。 サイズと次元ベクトルの2つの指標を導入することにより、トランスフォーマー構造を微粒化することができる。
  論文  参考訳（メタデータ） (2026-02-24T05:14:01Z)
• Transformers as Measure-Theoretic Associative Memory: A Statistical Perspective and Minimax Optimality [52.424255020469595]
  トランスフォーマーは、コンテント順応可能な検索とコンテキスト、原則として長さを活用できる能力を通じてエクササイズする。 確率尺度のレベルで連想記憶をリキャストし、コンテキストを無拘束トークン上の分布として扱う。 浅度測度理論変換器は入力密度のスペクトル仮定に基づいてリコール・アンド・予測マップを学習することを示す。
  論文  参考訳（メタデータ） (2026-02-02T09:34:17Z)
• Finite-Time Analysis of Gradient Descent for Shallow Transformers [16.566605776410068]
  本研究では,トランスフォーマーの最適化環境が不適当であることから,トランスフォーマーの性能が向上する理由を考察する。 完全なコンテキストを維持するために、Transformerのメモリ要件は長さとともに増加する。
  論文  参考訳（メタデータ） (2026-01-23T07:28:17Z)
• Convergence of Unadjusted Langevin in High Dimensions: Delocalization of Bias [21.64772960240025]
  問題の次元が$d$になるにつれて、所望の誤差内で収束を保証するのに必要なイテレーションの数が増加することを示す。 私たちが取り組んだ重要な技術的課題は、収束を測定するための$W_2,ellinfty$メートル法に一段階の縮約性がないことである。
  論文  参考訳（メタデータ） (2024-08-20T01:24:54Z)
• Chain of Thought Empowers Transformers to Solve Inherently Serial Problems [57.58801785642868]
  思考の連鎖(CoT)は、算術や記号的推論タスクにおいて、大きな言語モデル(LLM)の精度を向上させるための非常に効果的な方法である。 この研究は、表現性のレンズを通してデコーダのみの変換器に対するCoTのパワーを理論的に理解する。
  論文  参考訳（メタデータ） (2024-02-20T10:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。