論文の概要: Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling

• arxiv url: http://arxiv.org/abs/2609.36529v1
• Date: Tue, 29 Sep 2026 02:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.115174
• Title: Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
• Title（参考訳）: 3次元線形注意:長期連続モデリングのための3次元リカレント状態
• Abstract要約: リカレントニューラルネットワーク(RNN)は、歴史的コンテキストを一定サイズのメモリ状態に圧縮する。 メモリ状態サイズは、線形注意の強いパフォーマンスと復活によって示されるように、そのパフォーマンスにおいて重要な要素である。 本稿では,鍵,第2鍵,値の三進外積を3次テンソル状態(すなわち3次元)に書き込む三進線形注意法を提案する。
• 参考スコア（独自算出の注目度）: 42.249968724619755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent neural networks (RNNs) compress the historical context into a memory state of fixed size, thus allowing for constant-time inference. The memory state size is a crucial factor in their performance, as exemplified by the strong performance and resurgence of linear attention, which extends the vector-valued hidden states of ordinary RNNs to matrix-valued hidden states. Crucially, linear attention does so in a parameter-efficient way, in particular by using an outer product of the key and value vectors to write to the matrix-valued hidden state. We generalize this construction and propose triadic linear attention, which writes the triadic outer product of a key, a second key, and a value, into a third-order (i.e., 3D) tensor state, and reads from it by contracting both key axes with two queries. An $E$-dimensional second key thus yields an $E$-fold increase in state size while adding only two projections. Triadic linear attention is compatible with data-dependent forgetting, the delta rule, and chunkwise-parallel training. Applied to Gated DeltaNet and scalar-gated linear attention, triadic linear attention substantially improves long-context language modeling and recall, outperforming alternatives that enlarge the state.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、歴史的コンテキストを一定サイズのメモリ状態に圧縮することで、一定時間推論を可能にする。 メモリ状態サイズは、通常のRNNのベクトル値隠蔽状態から行列値隠蔽状態へ拡張する線形注意の強い性能と回復によって示されるように、その性能において重要な要素である。 特に鍵ベクトルと値ベクトルの外積を使って行列値の隠れ状態に書き込む。 この構成を一般化し,鍵,第2鍵,値の三進外積を3次テンソル状態(すなわち3次元)に書き込む三進線形注意法を提案し,両キー軸を2つのクエリで収縮させて読み取る。 これにより、$E$-dimensional 2番目のキーは2つのプロジェクションを追加するだけで、状態サイズが$E$-fold増加する。 Triadic linear attention is compatible with data-dependent forgetting, the delta rule, and chunkwise-parallel training。 Gated DeltaNet と scalar-gated linear attention に応用すると、三進線形注意は長期コンテキスト言語モデリングとリコールを大幅に改善し、州を拡大する優れた代替手段となる。

関連論文リスト

• Exact Linear Attention [0.0]
  Exact Linear Attention (ELA) はカーネル関数の正確な分解特性を利用してトランスフォーマー注意のための線形計算複雑性を実現する。 ELAは最大で6倍高速な復号化とKVキャッシュメモリ使用率の75%削減を実現している。 我々は、線形アテンション原理を視覚モデルに拡張し、最大4.3倍のGPU推論速度と7.9倍のパラメータ削減を競合検出精度で達成するYOLO-LATを得る。
  論文  参考訳（メタデータ） (2026-05-13T08:06:48Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Log-Linear Attention [81.09631871212211]
  本稿では,線形注意の効率とソフトマックス注意の表現性をバランスさせる注意機構である対数線形注意を開発する。 特定の成長関数を用いて、対数線形アテンションは、計算コストが列長で対数線形である類似のマトゥルリッチ並列形式を許容することを示す。 ログ線形アテンションは一般的なフレームワークであり、既存の線形アテンションのバリエーションの上に適用することができる。
  論文  参考訳（メタデータ） (2025-06-05T08:44:51Z)
• Comba: Improving Bilinear RNNs with Closed-loop Control [57.800320390698516]
  本稿では,これらのモデルの利点と限界を包括的に分析したBilinear RNNの概念を紹介する。 我々は,状態フィードバックと出力フィードバックの両補正を併用した,スカラー+低ランク状態遷移を取り入れた新しいバイリニアRNNであるCombaを提案する。 また,大規模コーパス上での340M/1.3Bパラメータのトレーニングモデルと,ハードウェア効率のよいチャンクワイド並列カーネルを実装した。
  論文  参考訳（メタデータ） (2025-06-03T05:44:50Z)
• Lightning Attention-2: A Free Lunch for Handling Unlimited Sequence Lengths in Large Language Models [20.78813311569383]
  本稿では、線形アテンションによる理論計算の利点を実現するための最初の線形アテンション実装であるLightning Attentionを紹介する。 具体的には、従来のアテンション機構をブロック内に適用し、インターブロックに対して線形アテンションカーネルのトリックを適用する。 異なるモデルサイズとシーケンス長について様々な実験を行った。
  論文  参考訳（メタデータ） (2024-01-09T16:27:28Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。