論文の概要: Switching Linear Attention

• arxiv url: http://arxiv.org/abs/2609.39034v1
• Date: Wed, 30 Sep 2026 05:37:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.235329
• Title: Switching Linear Attention
• Title（参考訳）: リニアアテンションの切り替え
• Abstract要約: 線形アテンションは、メモリフットプリントを一定に保った効率的なリカレント計算を可能にする。 このギャップを埋める新しいシーケンス層である Switching Linear Attention (SwiLA) を導入する。 SwiLAは、連想リコール、コンテキスト内言語学習、言語モデリングベンチマークなど、強いパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 15.268696747051974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing expressive sequence layers with efficient inference remains a central challenge in modern machine learning. Standard softmax attention achieves excellent sequence modeling performance through rich nonlinear token interactions, but it requires a key-value cache that grows linearly with sequence length, limiting its scalability. Linear attention enables efficient recurrent computation with a constant memory footprint, yet its reduced expressivity often yields inferior modeling performance. We introduce Switching Linear Attention (SwiLA), a novel sequence layer that bridges this gap by enhancing representational capacity while retaining the fixed-size recurrent state of linear attention. We derive the SwiLA recurrence from the test-time regression framework, casting the state update rule as online expectation-maximization in a mixture of linear regressions model. At test time, each output dimension dynamically selects among multiple linear attention components based on the input. Across associative recall, in-context language learning, and language modeling benchmarks, SwiLA shows strong performance and narrows the gap to softmax attention, even surpassing it in several settings.
• Abstract（参考訳）: 効率的な推論で表現力のあるシーケンス層を設計することは、現代の機械学習において依然として中心的な課題である。 標準的なソフトマックスアテンションは、リッチな非線形トークン相互作用によって優れたシーケンスモデリング性能を実現するが、その拡張性を制限するために、シーケンス長とともに線形に成長するキー値キャッシュが必要である。 線形アテンションはメモリフットプリントを一定に保った効率的なリカレント計算を可能にするが、その表現率の低下は、しばしばモデリング性能の低下をもたらす。 本稿では,このギャップを埋める新しいシーケンス層であるスイッチング線形注意(SwiLA)を紹介し,線形注意の一定サイズのリカレント状態を保ちながら表現能力を向上させる。 我々はテスト時回帰フレームワークからSwiLAの再発を導出し、線形回帰モデルの混合において状態更新ルールをオンライン予測最大化としてキャストする。 テスト時、各出力次元は入力に基づいて複数の線形注目成分の中から動的に選択する。 連想的リコール、コンテキスト内言語学習、言語モデリングベンチマークの他、SwiLAは強力なパフォーマンスを示し、ソフトマックスの注意力とのギャップを狭め、いくつかの設定でそれを越えている。

関連論文リスト

• Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models [7.961563754693873]
  異なるトークンに対して同一レイヤ内での線形アテンションとソフトマックスアテンションの両方を適用可能なフレームワークを提案する。 NAtS-Lは、トークンが線形アテンションモデル(短期的な影響しか持たないトークン)で処理できるかどうかを自動的に決定する。 トークン間の最適Gated DeltaNetとソフトマックスアテンションの組み合わせを探索することにより、NAtS-Lは強力で効率的なトークンレベルのハイブリッドアーキテクチャを提供することを示す。
  論文  参考訳（メタデータ） (2026-02-03T16:02:50Z)
• STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs [23.745366354566315]
  LLM(Linearizing Pretrained Large Language Model)は主に層内ハイブリッドアテンション機構に依存している。 LLMを効率的に線形化するための層内ハイブリッド線形化フレームワークSTILLを提案する。
  論文  参考訳（メタデータ） (2026-02-02T14:49:18Z)
• Dissecting Linear Recurrent Models: How Different Gating Strategies Drive Selectivity and Generalization [5.057995083193427]
  線形リカレントニューラルネットワークは、トランスフォーマーのソフトマックスアテンションメカニズムの効率的な代替手段として登場した。 既存のベンチマークタスクは、大きな違いを明らかにするには単純すぎるか、実験のために過度にリソースを消費する。 本稿では,SelectivBenchを紹介した。SelectivBenchは軽量でカスタマイズ可能な,シーケンスモデルを体系的に評価するためのベンチマークタスクである。
  論文  参考訳（メタデータ） (2026-01-18T21:49:21Z)
• Lizard: An Efficient Linearization Framework for Large Language Models [113.87302474262798]
  プリトレーニングされたトランスフォーマーベース大規模言語モデル(LLM)をサブクワッドアーキテクチャに変換する線形化フレームワークであるLizardを提案する。 Lizardは、モデル品質を保ちながらソフトマックスアテンションを正確に近似するサブクワッドアテンションメカニズムを導入することで、これらの制限に対処する。 5 ショット MMLU ベンチマークにおいて,Lizard は教師モデルの性能のほぼ無作為な回復を実現し,従来の手法よりも 9.4 ～ 24.5 ポイント高い性能を示した。
  論文  参考訳（メタデータ） (2025-07-11T21:19:18Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Log-Linear Attention [81.09631871212211]
  本稿では,線形注意の効率とソフトマックス注意の表現性をバランスさせる注意機構である対数線形注意を開発する。 特定の成長関数を用いて、対数線形アテンションは、計算コストが列長で対数線形である類似のマトゥルリッチ並列形式を許容することを示す。 ログ線形アテンションは一般的なフレームワークであり、既存の線形アテンションのバリエーションの上に適用することができる。
  論文  参考訳（メタデータ） (2025-06-05T08:44:51Z)
• Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences [60.489682735061415]
  本稿では,状態空間モデルを短時間の畳み込みに置き換えたCHELAを提案する。 提案手法の有効性を示すために,Long Range Arenaベンチマークと言語モデリングタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-12T12:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。