論文の概要: RunningTensor: Generalizing Linear Attention to Higher-Order Recurrent States

• arxiv url: http://arxiv.org/abs/2609.12814v1
• Date: Fri, 11 Sep 2026 13:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.753197
• Title: RunningTensor: Generalizing Linear Attention to Higher-Order Recurrent States
• Title（参考訳）: RunTensor: 高次のリカレントステートに対する線形アテンションの一般化
• Abstract要約: RunTensorは、リカレントメモリをOrder-o$ tensorに一般化する。 シークエンスの長さは$T$で線形でありながら、リカレントフォームと並列フォームの両方を保持します。 RunTensorは、リニアアテンションとSSMベースラインを連想リコールで上回る。
• 参考スコア（独自算出の注目度）: 2.2153783542347805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention and state-space models provide linear-time sequence modeling, but their recurrent memory remains a second-order tensor (a matrix), limiting the order of interactions that can be represented in the state. We introduce the RunningTensor, which generalizes this memory to an order-$o$ tensor, updated by a rank-1 outer product and read by contracting against $o-1$ vector queries. Order $2$ recovers linear attention; we study order $3$ as a proof of concept, retaining both recurrent and parallel forms while remaining linear in sequence length $T$ and improving working memory capacity from $\mathcal{O}(W^2)$ to $\mathcal{O}(W^o)$. On synthetic multi-query associative recall, RunningTensor outperforms linear-attention and SSM baselines. After pretraining, it also improves performance on language-understanding and non-synthetic retrieval tasks, suggesting that higher-order recurrent state can provide useful additional memory capacity beyond matrix-valued state.
• Abstract（参考訳）: 線形アテンションと状態空間モデルは線形時間シーケンスモデリングを提供するが、リカレントメモリは2階テンソル(行列)のままであり、状態内で表現できる相互作用の順序を制限する。 我々は、このメモリをオーダー$o$テンソルに一般化し、ランク1の外積で更新し、$o-1$ベクトルクエリとコントラクトすることで読み取るランニングテンソルを紹介した。 直列長$T$を線形に保ち、作業メモリ容量を$\mathcal{O}(W^2)$から$\mathcal{O}(W^o)$に改善する。 合成マルチクエリ連想リコールでは、RunningTensorはリニアアテンションとSSMベースラインを上回っている。 事前トレーニング後、言語理解および非合成検索タスクのパフォーマンスも向上し、高次リカレント状態が行列値以上の有用なメモリ容量を提供できることを示唆している。

関連論文リスト

• Memristive-Friendly Hadamard Reservoir Computing: Structured, Multiplier-Free Recurrences at Scale [10.72107520133713]
  貯留層コンピューティング(Reservoir Computing, RC)は、ニューラルネットワークを、固定された、訓練されていない、反復的なレイヤを中心に設計し、ニューロモルフィックハードウェアの自然な候補である。 我々は、密度行列を、符号対角線、置換、ウォルシュ・ハダマール変換から構築された構造化直交作用素に置き換える。 3つのハードウェアプラットフォームでは、高密度の製品よりも最大50ドル以上、メモリは104ドル以下になる。
  論文  参考訳（メタデータ） (2026-08-28T12:58:42Z)
• Fast Weight Attention for Continual Learning [75.34672054079408]
  リカレント高速記憶と選択状態空間モデルは、拡張コンテキストを固定サイズのリカレント状態に圧縮する。 正則化された二乗誤差回帰と負の内積目標の1次更新を導出する。 我々は、数値的に安定な正のデカイ再正規化とともに、繰り返し、マスクパラレル、チャンクパラレル形式を提供する。
  論文  参考訳（メタデータ） (2026-08-27T22:55:11Z)
• Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory [7.4750926696730895]
  Najuはリカレント更新を、スキーマ的に$x_n = f_nodot x_n-1 + i_nodot(B_n u_n)$に分解する。 ナジュは、強い長距離メモリと競争力や優れたパフォーマンスを一貫して組み合わせている。
  論文  参考訳（メタデータ） (2026-07-23T07:34:07Z)
• Variational Linear Attention: Stable Associative Memory for Long-Context Transformers [0.6117371161379209]
  リニアアテンションはソフトマックスアテンションの二次コストを$mathcalO(T)$に下げるが、フロベニウスノルムでは$mathcalO(T)$としてメモリ状態が増加する。 メモリ更新をオンライン最小二乗問題として再構成するtextbfVariational Linear Attention (VLA) を導入する。
  論文  参考訳（メタデータ） (2026-05-11T20:03:12Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
  LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。 ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。 LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
  論文  参考訳（メタデータ） (2025-05-27T20:02:59Z)
• Overcomplete Tensor Decomposition via Koszul-Young Flattenings [56.82556231289414]
  最小ランク1項の和として$n_times n times n_3$ tensorを分解する新しいアルゴリズムを与える。 次数-d$s のさらに一般的なクラスは、定数 $C = C(d)$ に対して階数 $Cn$ を超えることができないことを示す。
  論文  参考訳（メタデータ） (2024-11-21T17:41:09Z)
• TCNCA: Temporal Convolution Network with Chunked Attention for Scalable Sequence Processing [52.64837396100988]
  MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。 線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。 我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
  論文  参考訳（メタデータ） (2023-12-09T16:12:25Z)
• Sub-Linear Memory: How to Make Performers SLiM [38.068090269482425]
  vanilla Transformerは、入力長$L$の関数としてシリアル時間とメモリで$O(L2)$を必要とする。 最近の研究は、連続計算に$o(l)$でしかスケールしない様々な線形自己アテンション機構を提案している。 計算の柔軟性は顕著であり, サブリニアメモリを用いた近似をすることなく, 前方および後方の伝播を行うことができる。
  論文  参考訳（メタデータ） (2020-12-21T13:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。