論文の概要: Kronecker Delta Rule for Long Context Linear Attention
- arxiv url: http://arxiv.org/abs/2610.26834v1
- Date: Mon, 19 Oct 2026 17:56:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 01:02:19.936086
- Title: Kronecker Delta Rule for Long Context Linear Attention
- Title（参考訳）: 長期線形注意のためのKronecker Delta Rule
- Abstract要約: 我々は,連想行列記憶の新しい更新規則であるKronecker Delta Ruleに基づく線形アテンションアーキテクチャであるKronLSTMを提案する。
KronLSTMはxLSTMファミリを拡張し、メモリリビジョン機構により、メモリをマトリックス空間内の1方向にのみ変更しながら、ターゲットのアソシエーションを修正する。
- 参考スコア（独自算出の注目度）: 19.471000681217173
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose KronLSTM, a linear attention architecture based on the Kronecker Delta Rule, a novel update rule for associative matrix memories. KronLSTM extends the xLSTM family with a memory-revision mechanism that corrects targeted associations while modifying the memory only along a single direction in matrix space. This minimally invasive memory revision reduces interference with previously stored information compared with delta-rule updates, making it particularly well suited for long-context language modeling. The resulting memory dynamics can be mathematically described as a Markov chain that converges to a steady-state distribution, while the expected norm of the memory matrix remains uniformly bounded throughout the entire input sequence. Hence, KronLSTM ensures stable memory dynamics without requiring additional normalization and stabilization mechanisms for the memory state. Experiments show that KronLSTM is competitive with, and often outperforms, existing linear attention architectures, including models of the (Gated) DeltaNet family, with particularly strong performance on long context benchmarks. These results establish the Kronecker Delta Rule as an effective and analytically tractable foundation for stable associative memory in recurrent linear attention architectures. Our code (https://github.com/NX-AI/KronLSTM) and models (https://huggingface.co/collections/NX-AI/kronlstm) are open-source.
- Abstract（参考訳）: 我々は,連想行列記憶の新しい更新規則であるKronecker Delta Ruleに基づく線形アテンションアーキテクチャであるKronLSTMを提案する。
KronLSTMはxLSTMファミリを拡張し、メモリリビジョン機構により、メモリをマトリックス空間内の1方向にのみ変更しながら、ターゲットのアソシエーションを修正する。
この最小侵襲のメモリリビジョンは、デルタルール更新と比較して、予め格納された情報に対する干渉を減少させ、特に長文言語モデリングに適している。
結果として生じるメモリのダイナミクスはマルコフ連鎖として数学的に記述され、定常分布に収束するが、メモリ行列の期待されるノルムは入力シーケンス全体を通して均一に束縛される。
したがって、KronLSTMは、メモリ状態に対する追加の正規化と安定化機構を必要とせずに、安定したメモリダイナミックスを保証する。
実験の結果、KronLSTMは(Gated) DeltaNetファミリーのモデルを含む既存の線形アテンションアーキテクチャと競合し、性能が優れており、特にロングコンテキストベンチマークでの強いパフォーマンスを示している。
これらの結果は、リカレント線形アテンションアーキテクチャにおける安定な連想記憶のための有効かつ解析的に抽出可能な基盤としてクロネッカーデルタルールを確立する。
私たちのコード(https://github.com/NX-AI/KronLSTM)とモデル(https://huggingface.co/collections/NX-AI/kronlstm)はオープンソースです。
関連論文リスト
- Switching Linear Attention [15.268696747051974]
線形アテンションは、メモリフットプリントを一定に保った効率的なリカレント計算を可能にする。
このギャップを埋める新しいシーケンス層である Switching Linear Attention (SwiLA) を導入する。
SwiLAは、連想リコール、コンテキスト内言語学習、言語モデリングベンチマークなど、強いパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-09-30T05:37:13Z) - Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。
リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
論文 参考訳（メタデータ） (2026-07-28T07:04:32Z) - Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity [34.491686452909526]
スパース・デルタメモリ(SDM)は,線形RNNの隠れ状態をスパース・アドレッシング・スキームを用いて桁違いに高容量に拡張するアーキテクチャである。
また,IsoFLOP制約の下では,同じ数のパラメータを用いて,テキスト内学習や長文検索タスクの性能を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2026-07-08T13:17:19Z) - Temporal Sheaf Neural Networks with Dynamic Orthogonal Transport [0.5709546417287261]
本稿では,時間的リンク予測フレームワークであるTSNNを紹介する。
TSNNは、動的局所フレームを通してノード固有で進化する相互作用の意味をモデル化する。
すべての計算は厳密な因果関係を持ち、事前の履歴のみを使用する。
論文 参考訳（メタデータ） (2026-06-08T18:47:31Z) - Rethinking Memory as Continuously Evolving Connectivity [63.58181883607843]
既存のメモリ拡張LDMエージェントは、メモリを事前定義された表現と固定された検索パイプラインを備えた静的リポジトリとして扱う。
メモリをヘテロジニアスなグラフとしてモデル化し,そのトポロジを3段階にわたって段階的に洗練する,コネクティビティ進化型メモリフレームワークであるFluxMemを提案する。
LoCoMo、Mind2Web、GAIAなど、根本的に異なる3つのベンチマークにおいて、FluxMemは一貫した最先端のパフォーマンスを実現し、複雑なエージェント環境において強力な適応と一般化を示す。
論文 参考訳（メタデータ） (2026-05-27T17:35:34Z) - COREY: Entropy-Guided Runtime Chunk Scheduling for Selective Scan Kernels [11.316541559874864]
プロトタイプスケジューラは、固定幅ヒストグラムを用いて推定したアクティベーションエントロピーを、チャンクサイズ選択のランタイム信号として利用する。
COREYはConcept and Feasibilityのコントリビューションとして位置づけられている。
この作業には、Tier 2aとTier 2bを接続する完全なエンドツーエンド実行が含まれていない。
論文 参考訳（メタデータ） (2026-04-12T12:07:48Z) - LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory [97.14005794889134]
提案するLoGeRは,高密度な3次元再構成を,後最適化なしで極めて長いシーケンスに拡張する新しいアーキテクチャである。
LoGeRはビデオストリームをチャンクで処理し、高忠実度なチャンク内推論に強力な双方向の事前処理を活用する。
このメモリアーキテクチャにより、LoGeRは128フレームのシーケンスでトレーニングでき、推論中に数千フレームまで一般化できる。
論文 参考訳（メタデータ） (2026-03-03T18:55:37Z) - Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。
テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。
ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
論文 参考訳（メタデータ） (2025-11-26T03:26:37Z) - Lattice: Learning to Efficiently Compress the Memory [13.765057453744427]
本稿では,キャッシュを一定数のメモリスロットに効率よく圧縮する新しいリカレントニューラルネットワーク(RNN)機構であるLatticeを紹介する。
我々は、この圧縮をオンライン最適化問題として定式化し、単一の勾配降下ステップに基づいて動的メモリ更新ルールを導出する。
実験結果から,Latticeはコンテキスト長の異なるすべてのベースラインと比較して,最も難易度が高いことがわかった。
論文 参考訳（メタデータ） (2025-04-08T03:48:43Z) - LiVOS: Light Video Object Segmentation with Gated Linear Matching [116.58237547253935]
LiVOSはリニアアテンションによるリニアマッチングを利用する軽量メモリネットワークである。
長くて高解像度のビデオでは、STMベースのメソッドと53%のGPUメモリで一致し、32Gの消費者向けGPU上で4096pの推論をサポートする。
論文 参考訳（メタデータ） (2024-11-05T05:36:17Z) - Stabilizing Equilibrium Models by Jacobian Regularization [151.78151873928027]
ディープ均衡ネットワーク(Deep equilibrium Network, DEQs)は、単一非線形層の固定点を見つけるために従来の深さを推定する新しいモデルのクラスである。
本稿では、平衡モデルの学習を安定させるために、固定点更新方程式のヤコビアンを明示的に正規化するDECモデルの正規化スキームを提案する。
この正規化は計算コストを最小限に抑え、前方と後方の両方の固定点収束を著しく安定化させ、高次元の現実的な領域に順応することを示した。
論文 参考訳（メタデータ） (2021-06-28T00:14:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。