論文の概要: Sliding-window beats linear attention

• arxiv url: http://arxiv.org/abs/2608.28444v1
• Date: Fri, 28 Aug 2026 15:31:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.382164
• Title: Sliding-window beats linear attention
• Title（参考訳）: スライディングウインドウは直線的注意を打つ
• Abstract要約: スライディングウインドウ・アテンション(SWA)とシンクは,訓練後の線形アテンションモデルと同等以上の性能を示した。 SWAはポストトレーニングを必要とせず、非常に高速で、低メモリを必要とする。 推論メモリのコストを削減するため、線形モデルの訓練後ではなくSWAへの切り替えを強く推奨する。
• 参考スコア（独自算出の注目度）: 7.242787341986762
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the nature of quadratic attention, Large Language Models (LLMs) consume a lot of memory and energy. Every new token costs more than the previous one. For each additional token, the keys and values must be stored in memory indefinitely, which is unsustainable. Several alternatives have been proposed to fix the quadratic scaling problem, one of which is retrofitting LLMs to use Linear Attention. This idea has attracted a lot of attention, given its promise to solve the quadratic scaling problem with state-of-the-art performance at low cost. However, this line of research has not been properly compared to simpler baselines. In this work, we show that Sliding Window Attention (SWA) with sinks performs as well or better than post-trained Linear Attention models. We observe this across multiple LLMs on various downstream tasks. For long-context reasoning tasks (Needle-in-a-Haystack and BABILong), SWA achieves massively higher performance (2 to 10 times higher than linear attention). SWA requires no post-training, is extremely fast, and requires low memory; therefore, making it an extremely cheap and reliable solution. To reduce inference memory cost, we strongly recommend switching to SWA instead of post-training linear models. Linear attention models may have shown some promise, but they likely require to be trained from scratch or extensive post-training in order to even match SWA.
• Abstract（参考訳）: 二次的な注意の性質のため、LLM(Large Language Models)は大量のメモリとエネルギーを消費する。 新しいトークンはすべて、以前のトークンよりも高くつく。 各追加トークンに対して、キーと値は無期限にメモリに格納されなければならないが、これは持続不可能である。 2次スケーリング問題を修正するためにいくつかの代替案が提案されており、そのうちの1つはLLMをリニアアテンション(Linear Attention)に適合させることである。 このアイデアは、最先端のパフォーマンスを低コストで2次スケーリング問題を解決することを約束していることから、多くの注目を集めている。 しかし、この研究はより単純なベースラインと正しく比較されていない。 本研究では,スライディングウインドウ・アテンション(SWA)とシンクを併用したスライディングウインドウ・アテンション(SWA)が,ポストトレーニング後の線形アテンションモデルと同等以上の性能を示すことを示す。 我々は、様々な下流タスクにおいて複数のLLMにわたってこれを観察する。 長文推論タスク(Needle-in-a-Haystack と BABILong)では、SWAは、線形注意の2倍から10倍のパフォーマンスを達成する。 SWAはポストトレーニングを必要とせず、非常に高速で、低メモリを必要とするため、非常に安価で信頼性の高いソリューションである。 推論メモリのコストを削減するため、線形モデルの訓練後ではなくSWAへの切り替えを強く推奨する。 線形アテンションモデルにはいくつかの約束があったかもしれないが、SWAにマッチするためには、スクラッチや訓練後の広範囲な訓練が必要である可能性が高い。

関連論文リスト

• Raven: High-Recall Sequence Modeling with Sparse Memory Routing [88.47618436676748]
  メモリスロットの固定セットを維持する線形時間シーケンスモデルであるRavenを導入し、各ステップにおいて、学習された入力依存ルーティングによって選択されたサブセットのみを減衰・更新する。 リコール集約ベンチマーク全体では、Ravenは以前のリニアタイムベースラインと競合するか、より優れており、SWAとSSMの両方が大幅に低下する強いロングコンテキストリコールを実現している。
  論文  参考訳（メタデータ） (2026-07-28T07:04:32Z)
• Sliding Window Attention Adaptation [28.274758251062213]
  スライディングウインドウ・アテンション (SWA) は、このコストを線形複雑性に還元するが、フルアテンション (FA) で事前訓練されたモデルに対して、完全にSWAを推論時に有効にすることは、トレーニング・推論ミスマッチ(英語版)による厳しい長文パフォーマンス劣化を引き起こす。 Sliding Window Attention Adaptation (SWAA)を提案する。 実験の結果,SWA適応は非自明に実現可能であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-11T08:21:24Z)
• Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning [58.62311540316617]
  強化学習(RL)による言語モデルの推論能力の向上を目指す。 我々は,LLMが徐々に推論スキルを構築できるように,タスクを簡単から困難(E2H)にスケジュールすることを提案する。 E2H Reasonerは小型LLM(1.5B〜3B)の推論能力を著しく改善する
  論文  参考訳（メタデータ） (2025-06-07T02:41:54Z)
• A Lightweight Method to Disrupt Memorized Sequences in LLM [7.144800814025392]
  言語モデルがスケールするにつれて、そのパフォーマンスは幅広いタスクにわたって劇的に向上するが、トレーニングデータの一部を暗記し、復調する傾向がある。 差分プライバシーやモデルアンラーニングのような既存の緩和技術は、ほとんどのユーザにとって実用的でないように、内部重み付けの再訓練やアクセスを必要とすることが多い。 TokenSwapは、トークンレベルの出力しかアクセスできない現実的な設定のために設計された軽量でポストホックな防御システムである。
  論文  参考訳（メタデータ） (2025-02-07T18:41:21Z)
• SAISA: Towards Multimodal Large Language Models with Both Training and Inference Efficiency [47.03718208259308]
  トレーニングと推論の効率を両立させる新しいアーキテクチャであるSAISAを紹介する。 LLaVA-1.5と同じ構成で、SAISAは推測FLOPを66%削減し、トレーニング予算を26%削減した。
  論文  参考訳（メタデータ） (2025-02-04T16:28:53Z)
• Skipping Computations in Multimodal LLMs [63.29737699997859]
  本研究では,マルチモーダル大言語モデル(MLLM)における推論時の冗長性について検討する。 ブロック全体,FFN,自己保持層をスキップするなど,計算をスキップするさまざまな手法を提案する。 本研究は,推定時に大量の計算を回避できることを実証した。
  論文  参考訳（メタデータ） (2024-10-12T09:21:45Z)
• A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention [43.211427581302715]
  大規模言語モデルにおける文脈長を増大させるため,HiP(Hierarchically Pruned Attention)を提案する。 HiPは注意機構の時間的複雑さを$O(T log T)$に減らし、空間的複雑さを$O(T)$に減らし、$T$はシーケンス長である。 HiPは, 劣化を最小限に抑えつつ, プリフィルとデコードの両方のレイテンシとメモリ使用率を著しく低減することを示す。
  論文  参考訳（メタデータ） (2024-06-14T08:32:45Z)
• Simple linear attention language models balance the recall-throughput tradeoff [60.06020449520365]
  線形およびすべり窓の注意を結合したシンプルなアーキテクチャであるBASEDを提案する。 我々は、最大1.3bパラメータの言語モデルをトレーニングし、BASEDがパープレキシティにおいて最強のサブクワッドラティックモデルと一致し、実世界のリコール集約タスクにおいて6.22の精度ポイントでそれらのモデルを上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-28T19:28:27Z)
• SparQ Attention: Bandwidth-Efficient LLM Inference [2.5014367708434486]
  SparQ Attentionは、大規模言語モデルの推論スループットを向上させる技術である。 注意データ転送において,SparQの注意力は,精度の低下を伴わずに最大8倍の節約率を示す。
  論文  参考訳（メタデータ） (2023-12-08T11:47:35Z)
• Efficient Streaming Language Models with Attention Sinks [72.20260088848987]
  StreamingLLMは、大規模言語モデルが微調整なしで無限のシーケンス長に一般化できる効率的なフレームワークである。 StreamingLLMはLlama-2, MPT, Falcon, Pythiaを最大400万のトークンで安定かつ効率的な言語モデリングを実現できることを示す。
  論文  参考訳（メタデータ） (2023-09-29T17:59:56Z)
• A Simple and Effective Pruning Approach for Large Language Models [58.716255689941896]
  大規模言語モデル(LLM)は、ネットワークプルーニング手法の自然な候補である。 しかし,既存の手法では,2次情報に依存した再訓練や重み復元の問題の解決が求められている。 我々は,事前学習したLLMの空間性を高めるために,Wanda (Pruning by Weights and activations) と呼ばれる新しい,単純で効果的な刈り取り法を導入する。
  論文  参考訳（メタデータ） (2023-06-20T17:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。