論文の概要: SMat-Attention: Structured Long-Context Sequence Modeling

• arxiv url: http://arxiv.org/abs/2609.36062v1
• Date: Mon, 28 Sep 2026 18:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.932687
• Title: SMat-Attention: Structured Long-Context Sequence Modeling
• Title（参考訳）: SMat-Attention:Structured Long-Context Sequence Modeling
• Abstract要約: 構造的行列注意(SMat-Attention)を、構造的長距離ルーティングを持つ因果マスク群を介して導入する。 SMat-Attentionは、VC次元をアクセスパターンの複雑さ、プリフィルコスト、メモリのデコードを管理する明示的なノブにする。 Mamba-2とGated DeltaNetの拡張は、トップ$kのクエリで学習したルーティングを使用して、サブクワッドラティックなプリフィルを保持する。
• 参考スコア（独自算出の注目度）: 1.9957857885844834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context sequence models face a fundamental tradeoff: softmax attention uses flexible token-level interactions at quadratic cost, whereas linear attention obtains linear-time training and constant-time decoding by compressing history into a fixed-size state. In this work, we ask whether we can connect these regimes through a tunable notion of structure. To this end, we introduce Structured Matrix Attention (SMat-Attention) via a family of causal masks with structured long-range routing whose row supports have VC-dimension $d$. In our construction, $d=1$ recovers the standard causal mask, and increasing $d$ permits richer subset-routing patterns. We give chunkwise forward and backward algorithms to enable hardware-efficiency. For sequences of length $T$, the hard-routing construction takes $O(T^{2-3/d}+T)$ work, despite the mask being dense, for our prescribed family. In fixed-horizon streaming, decoding after the distant prefix takes constant time per token using $O(T^{1-1/d})$ cached states. SMat-Attention therefore makes VC-dimension an explicit knob governing access-pattern complexity, prefill cost, and decoding memory. Empirically, subset-routing and rule-assisted multi-key retrieval experiments illustrate the masks' routing expressiveness. Extensions to Mamba-2 and Gated DeltaNet using learned routing with top-$k$ query reads retain subquadratic prefill, improve recall accuracy over the backbones in several settings, and achieve comparable small-scale language-modeling performance.
• Abstract（参考訳）: ソフトマックスアテンションは2次コストでフレキシブルトークンレベルの相互作用を使用するのに対し、線形アテンションは歴史を固定サイズの状態に圧縮することで線形時間トレーニングと定時デコードを得る。 この研究において、構造論のチューニング可能な概念を通じてこれらのレジームを接続できるかどうかを問う。 この目的のために我々は,VC-dimension$d$の長周期ルーティングを持つ因果マスク群を通じて,構造化行列注意(SMat-Attention)を導入する。 私たちの構成では、$d=1$は標準的な因果マスクを回復し、$d$はよりリッチなサブセットルーティングパターンを可能にします。 ハードウェア効率を実現するために、シャープに前方と後方のアルゴリズムを提供します。 長さ$T$の場合、ハードルーティング構成は、マスクが密度が高いにもかかわらず、所定の家族のために$O(T^{2-3/d}+T)$作業を必要とする。 固定水平ストリーミングでは、遠いプレフィックス後の復号には$O(T^{1-1/d})$キャッシュ状態を使用してトークン毎に一定時間を要する。 したがって、SMat-Attentionは、VC次元をアクセスパターンの複雑さ、プリフィルコスト、メモリのデコードを管理する明示的なノブにする。 経験的に、サブセットルーティングとルールアシストによるマルチキー検索実験は、マスクのルーティング表現性を示している。 Mamba-2とGated DeltaNetへの拡張は、トップ$kクエリによる学習ルーティングを使用して、サブクワッドラティックなプリフィルを保持し、いくつかの設定でバックボーン上のリコール精度を改善し、同等の小規模言語モデリング性能を実現する。

関連論文リスト

• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• Route Experts by Sequence, not by Token [58.92918003265283]
  Mixture-of-Experts (MoE)アーキテクチャは、トークンごとに専門家のサブセットだけを活性化することによって、大きな言語モデル(LLM)をスケールする。 標準的なTopKルーティングは、すべてのトークンに同じ固定数の専門家を割り当てる。 トークンレベルからシークエンスレベルにシフトする最小限の修正であるシークエンスレベルTopK(SeqTopK)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T18:36:07Z)
• Scaling Up Liquid-Resistance Liquid-Capacitance Networks for Efficient Sequence Modeling [50.994194925685434]
  LrcSSMは$textitnon-linear$リカレントモデルで、現在の線形状態空間層と同じくらい高速に長いシーケンスを処理する。 ヤコビ行列を対角線に強制することにより、全列を並列に解くことができる。 LrcSSMは、Liquid-S4のような他の入力変化系が提供しないことを保証する形式的な勾配安定性を提供する。
  論文  参考訳（メタデータ） (2025-05-27T20:02:59Z)
• ZETA: Leveraging Z-order Curves for Efficient Top-k Attention [22.90397380324185]
  本稿では,全シーケンスに対する過去のトークンの並列クエリを可能にするZETAを提案する。 ZETA は合成textscMulti-Query Associative Recall タスクにおける標準注意性能と一致する。
  論文  参考訳（メタデータ） (2025-01-24T15:33:05Z)
• A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
  大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。 HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。 HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
  論文  参考訳（メタデータ） (2024-06-14T08:32:45Z)
• Simplifying and Understanding State Space Models with Diagonal Linear RNNs [56.33053691749856]
  本研究は、離散化ステップを解消し、バニラ対角線形RNNに基づくモデルを提案する。 概念的にはるかに単純であるにもかかわらず、$mathrmDLR$は以前提案したSSMと同じくらいのパフォーマンスを示す。 また、合成シーケンス・ツー・シーケンス・タスクのスイートによって、SSMとアテンションベースモデルの表現性も特徴付ける。
  論文  参考訳（メタデータ） (2022-12-01T18:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。