論文の概要: Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States

• arxiv url: http://arxiv.org/abs/2610.20637v1
• Date: Fri, 02 Oct 2026 03:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.550095
• Title: Expanding Attention: A Taylor-Series Route to Linear-Time Transformers with a Fixed Number of Recurrent States
• Title（参考訳）: 拡張注意:一定回数の繰り返し状態を持つ線形時間変圧器へのテイラー列経路
• Abstract要約: 指数函数の注意核を、truncated Taylor級数の$n$項に拡張し、各項をテンソルパワー内積に分解する。 再帰は、切り捨てられたカーネルに対してロスレスである。 m$-th状態が$omd+m-1m$ワイドであることから、精度は指数関数的に向上する - SVDによって確認された-- 最適化は2位、$n = 3$、エラー6.5×10-4$、頭当たり9,945$である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We expand the exponential kernel of attention into a truncated Taylor series of $n$ terms and factorize each term into a tensor-power inner product, which collapses the causal history into exactly $n$ recurrent states, each updated by one rank-one outer product per token and independent of context length $N$. The recursion is lossless with respect to the truncated kernel ($2.2 \times 10^{-16}$ in float64), and the states are additive across chunks ($5.7 \times 10^{-14}$), so prefill admits a parallel scan. Measured exponents are $t \propto N^{2.28}$ for softmax against $N^{0.91}$ for states, with a crossover at $N \approx 728$ and $20.8\times$ at $N = 8192$; per-token decoding latency is constant at $7.3\,μ$s against $N^{1.04}$ for softmax, giving $76.0\times$ at $N = 65536$. Accuracy improves exponentially in $n$ while cost grows combinatorially, since the $m$-th state is $\binom{d+m-1}{m}$ wide---a bound confirmed by SVD---so the optimum is second order, $n = 3$, at $6.5 \times 10^{-4}$ error and $9{,}945$ elements per head. Query and key normalization is a prerequisite: without it the argument exceeds the convergence radius and adding terms stops helping.
• Abstract（参考訳）: 指数関数的注意の核を、truncated Taylor級数の$n$項に拡張し、各項をテンソルパワーの内積に分解し、因果履歴を正確に$n$再帰状態に分解し、それぞれトークンごとに1つのランク1の外積で更新し、文脈長$N$と独立に更新する。 再帰はtruncatedカーネル(2.2 \times 10^{-16}$ in float64)に対して損失がなく、状態はチャンク(5.7 \times 10^{-14}$)にまたがって加算されるので、プリフィルは並列スキャンを認める。 測定された指数は、$t \propto N^{2.28}$ for softmax against $N^{0.91}$ for state, with a crossover at $N \approx 728$ and $20.8\times$ at $N = 8192$; per-token decoding latency is constant at 7.3\,μ$s at $N^{1.04}$ for softmax, giving 7,6.0\times$ at $N = 65536$である。 $m$-th状態が$\binom{d+m-1}{m}$ wide----境界はSVDによって確認されるため、$n = 3$, at 6.5 \times 10^{-4}$エラーと9{,}945$要素である。 クエリとキー正規化は前提条件であり、それなしでは引数は収束半径を超え、項を追加することが助けとなる。

関連論文リスト

• $T$-efficient unitary synthesis via block-sparse Hamiltonian simulation [5.09038470672154]
  我々は、最低ケース$T$-count $widetildeO(N8/7)$で任意の$n$-qubitユニタリを実装したClifford+$T$回路を構築する。 一定の精度で、指数8/7$がシーケンシャルブロック-SELECTモデルにおいて最適であることを示す。
  論文  参考訳（メタデータ） (2026-10-13T15:49:44Z)
• Bias-Induced Crossover in Absolute Capacity of Dense Associative Memory [0.0]
  漸近マッチングは1-2q=O(N/Nl n/2rfloor-1)$でバイアスによって引き起こされる交叉を予測する。 条件付きクロストークをキャンセルするアクティビティ依存制御電位は、固定された$0q1/2$に対して$Nn-1/ln N$キャパシティを復元する。
  論文  参考訳（メタデータ） (2026-09-15T17:16:38Z)
• On the Residual Scaling of Looped Transformers: Stability and Transferability [31.27468588849646]
  1/N$のスケーリングは、トレーニング性を改善し、ループ数で1/sqrtN$のスケーリングよりも優れた損失をもたらすことを示す。 ループ変換器の実験では、1/N$のスケーリングがトレーニング性を改善し、ループ数を越えたスケールで1/sqrtN$よりもよい損失をもたらすことが確認されている。
  論文  参考訳（メタデータ） (2026-06-16T22:39:13Z)
• The topological gap at criticality: scaling exponent d + η, universality, and scope [0.0]
  トポロジカルギャップは スピンモデルにおける 臨界相関を符号化する 有限サイズのスケーリングを確立する: $(L,T) = A Ld+ G_-(L|t/T_c|)$。 フレームワークは、ファーストオーダー、BKT、パーコレーションで失敗する。
  論文  参考訳（メタデータ） (2026-04-01T23:39:44Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• Near-Linear Time and Fixed-Parameter Tractable Algorithms for Tensor Decompositions [51.19236668224547]
  テンソルの低階近似について検討し,テンソルトレインとタッカー分解に着目した。 テンソル列車の分解には、小さなビクリテリアランクを持つビクリテリア$(1 + eps)$-approximationアルゴリズムと、O(q cdot nnz(A))$ランニングタイムを与える。 さらに、任意のグラフを持つテンソルネットワークにアルゴリズムを拡張します。
  論文  参考訳（メタデータ） (2022-07-15T11:55:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。