論文の概要: Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining

• arxiv url: http://arxiv.org/abs/2611.06133v1
• Date: Wed, 04 Nov 2026 08:18:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.024398
• Title: Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining
• Title（参考訳）: 大規模ハイブリッドLCMにおけるリトレーニングを伴わない長期デコーディングの高速化
• Abstract要約: 64k/256kトークンの復号はQwen3.5-4Bでは1.26x/2.22x、Qwen3.5-122B-A10Bでは1.20x/2.23x、Ornith-1.0-397Bでは1.16x/2.06xとなる。
• 参考スコア（独自算出の注目度）: 2.0907638666272232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The full-attention layers of large language models (LLMs) make every generated token more expensive than the previous one, slowing models down on long-context tasks. Hybrid models reduce this cost by replacing most full-attention layers with linear-attention layers, but the first still dominate decoding at long contexts. We accelerate these remaining layers without any training or weight changes using combined sparse attention: each layer attends to a sliding window of recent tokens, a pinned prefix, and a fixed budget of most relevant tokens in the context. The window size and budget are found on a per-layer basis using a multi-objective search algorithm. Across six hybrid models from three families, from 4B to 397B parameters, the selected configurations preserve their baseline model's accuracy on 21 long-context datasets. Decoding 64k/256k tokens becomes up to 1.26x/2.22x faster on Qwen3.5-4B, 1.20x/2.23x on Qwen3.5-122B-A10B, and 1.16x/2.06x on Ornith-1.0-397B.
• Abstract（参考訳）: 大きな言語モデル(LLM)のフルアテンション層は、生成されたトークンを以前のものよりも高価にし、長いコンテキストタスクでモデルを遅くします。 ハイブリッドモデルは、ほとんどのフルアテンション層をリニアアテンション層に置き換えることで、このコストを削減します。 各レイヤは、最近のトークンのスライディングウィンドウ、ピン付きプレフィックス、コンテキストにおける最も関連するトークンの固定予算に出席します。 ウィンドウサイズと予算は、多目的探索アルゴリズムを用いて層ごとに見出される。 4Bから397Bパラメータの3つのファミリーの6つのハイブリッドモデルに対して、選択された構成は、21の長文データセットのベースラインモデルの精度を保っている。 64k/256kトークンの復号はQwen3.5-4Bでは1.26x/2.22x、Qwen3.5-122B-A10Bでは1.20x/2.23x、Ornith-1.0-397Bでは1.16x/2.06xとなる。

関連論文リスト

• TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning [55.18459469601808]
  TokenGateは、学習可能なトークンプルーニングを可能にするために、既存のトレーニングモデルを拡張する小さなコンポーネントである。 トークンプルーニングのための非微分不可能なトップK演算子にも拘わらず、エンドツーエンドの学習を可能にするため、トークン付き注目を導入する。 様々なタスクにおいて、TokenGateは1.4$-11.3times$高速タイムツーファーストトークン(TTFT)と1.5$-3.4times$低ピークメモリを実現している。
  論文  参考訳（メタデータ） (2026-10-19T17:15:53Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• ProxyKV: Cross-Model Proxy Pruning for Efficient Long-Context LLM Inference [12.04455190856202]
  ProxyKVはクロスモデルプロキシプルーニングフレームワークである。 軽量なファミリー内Small-Model Proxyにスコアをオフロードし、Large-Model Targetに非同期に実行する。 Llama-3.1-8B(Dual-GPU; $sim$1.5times$ shared single-GPU)で最大$3.21timesのプリフィルスピードアップを提供し、Qwen-2.5-7Bで最大170kのトークンでスピードアップを継続する。
  論文  参考訳（メタデータ） (2026-05-09T13:18:01Z)
• L$^3$: Large Lookup Layers [30.519997678052658]
  スパーストークンライザ埋め込みテーブルは、コンテキスト情報を持たないコストで、トークンごとの単一の埋め込みを選択する。 L$3$レイヤは静的トークンベースのルーティングを使用して、コンテキスト依存の方法でトークン毎に学習した埋め込みのセットを集約する。 L$3$は、(1)高速なトレーニングとCPUオフロード推論が可能なシステムフレンドリーなアーキテクチャ、(2)スピードと品質を効果的にバランスする情報理論の埋め込み割り当てアルゴリズムである。
  論文  参考訳（メタデータ） (2026-01-29T09:37:31Z)
• Sliding Window Recurrences for Sequence Models [85.49118834785435]
  線形リカレンスのための階層分解フレームワークを導入し,GPUメモリ階層に整合したアルゴリズムを開発できるようにする。 我々は、ハードウェア対応のウィンドウへの繰り返しをトラッピングすることに特化しており、これは自然にジャグリングされ、ワープ間通信のコストを抑えている。 我々は,窓面の注意や線形再発の代替となるPhalanx層を開発した。
  論文  参考訳（メタデータ） (2025-12-15T21:53:17Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
  大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。 プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。 我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
  論文  参考訳（メタデータ） (2025-08-11T20:07:34Z)
• S*: Test Time Scaling for Code Generation [55.11863577956177]
  コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-20T09:18:53Z)
• SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens [4.5888031410244885]
  意味適応トークン(SDSAT)を用いた投機的復号化による大規模言語モデル(LLM)の高速化手法を提案する。 この設計の主な目的は、LLMモデルの精度を損なうことなく、より正確にドラフトトークンを生成する能力を高めることである。 CodeLlama-13B と 7B で実施された実験では、それぞれ3.5X と 3.0X 以上の速度向上が達成されている。
  論文  参考訳（メタデータ） (2024-03-27T14:54:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。