論文の概要: Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding

• arxiv url: http://arxiv.org/abs/2609.00097v1
• Date: Mon, 31 Aug 2026 15:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.864908
• Title: Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding
• Title（参考訳）: Flashより速い: 効率的な長期デコーディングのための注意散らかしを爆発させる
• Abstract要約: 我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。 最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
• 参考スコア（独自算出の注目度）: 51.48425605758328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of long-context Large Language Models (LLMs) is constrained by the memory bandwidth bottleneck and quadratic complexity of the attention mechanism during decoding. To overcome the inherent trade-offs between the memory overhead of metadata-based metrics and the computational inefficiency of adaptive selection strategies, we present Faster Flash Decoding (FFD), a novel hardware-algorithm co-design framework designed to break the memory wall in long-context decoding. FFD integrates the selector and computer into a fully fused kernel, replacing external metadata indices with content-aware scanning via low-bit quantization. Furthermore, we introduce the top-delta strategy, which dynamically filters blocks to achieve distribution-adaptive sparsity without global synchronization. Offering a training-free and plug-and-play solution, FFD also enables the reuse of scanning results for computation, achieving up to 11.6x kernel-level speedup and scaling to 256K context length, with 2.37x end-to-end throughput improvement. Empirical validation on RULER and LongBench confirms that FFD maintains model accuracy while delivering high-ratio sparsity, with code available at https://github.com/qluoluo/faster-flash-decoding
• Abstract（参考訳）: 長文Large Language Models (LLMs) の開発は、メモリ帯域のボトルネックと復号時の注意機構の2次複雑さによって制約されている。 メタデータベースのメトリクスのメモリオーバーヘッドと適応的選択戦略の計算効率の相違を克服するため、長いコンテキストでメモリウォールを壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークであるFaster Flash Decoding (FFD)を提案する。 FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスを低ビット量子化によるコンテンツ認識スキャンに置き換える。 さらに,グローバル同期を伴わない分散適応性を実現するためにブロックを動的にフィルタするトップデルタ戦略を導入する。 FFDはトレーニングフリーでプラグイン・アンド・プレイのソリューションを提供しており、最大11.6倍のカーネルレベルのスピードアップを実現し、2.37倍のスループット向上を実現している。 RULERとLongBenchの実証検証では、FFDは高比の間隔を提供しながらモデルの精度を維持しており、コードはhttps://github.com/qluoluo/faster-flash-decodingで公開されている。

関連論文リスト

• LLM Inference in a Flash! [66.43896490006965]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。 我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
  論文  参考訳（メタデータ） (2026-09-14T18:04:30Z)
• FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy [32.21687694159134]
  FluxBinは高度に最適化されたカーネルとバイナリ量子化を合成するアルゴリズムである。 FluxBinは最大5.92ドルのスピードアップと10.19ドルの省エネを達成する。 これにより、70Bスケールのモデルを1つのA100ベースにデプロイし、メモリを4倍に削減できる。
  論文  参考訳（メタデータ） (2026-08-16T08:01:06Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference [36.81958522560282]
  レイヤレベルでの注意を動的に最適化するコンテキスト対応フレームワークであるFlux Attentionを紹介します。 パラメータ効率のよいアプローチとして、我々のフレームワークは8$times$A800 GPU上でのトレーニングにわずか12時間しかかからない。 本フレームワークは,プリフィルおよびデコード段階において,最大2.8times$および2.0times$の速度改善を施したベースラインモデルと比較して,性能と推論速度のトレードオフを良好に実現している。
  論文  参考訳（メタデータ） (2026-04-08T07:36:17Z)
• Towards Practical Lossless Neural Compression for LiDAR Point Clouds [84.36825469211375]
  高精度な幾何学的詳細の極端に広い範囲は、効率的な文脈モデリングを妨げる。 私たちのフレームワークは2つの軽量モジュールで構成されています。 実験では、リアルタイムに競争力のある圧縮性能を示す。
  論文  参考訳（メタデータ） (2026-03-26T10:02:07Z)
• Fast Forward: Accelerating LLM Prefill with Predictive FFN Sparsity [5.223181756178433]
  我々は,大規模言語モデル (LLM) のプレフィルをブロックワイドでコンテキスト対応のFFNスパシティによって高速化する,予測可能なスパシティフレームワークであるFastForwardを紹介した。 FastForwardは最大1.45$times$計算バウンド・スピードアップを50%FFN間隔で提供し、LongBenchの高密度ベースラインに比べて6%の精度で損失する。
  論文  参考訳（メタデータ） (2026-01-30T23:23:40Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• RetroInfer: A Vector-Storage Approach for Scalable Long-Context LLM Inference [27.69137902678418]
  RetroInferは、長文推論を加速するために固有の注意空間を利用する新しいシステムである。 KVキャッシュがCPUメモリに拡張された場合、GPUメモリリミット内では4.5倍のスピードアップと、スムーズなアテンションベースライン上で最大10.5倍のスピードアップを示します。
  論文  参考訳（メタデータ） (2025-05-05T18:01:17Z)
• UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs [111.05657299071648]
  UIO-LLMsは、長いコンテキスト設定下でのメモリ拡張トランスフォーマーの漸進的な最適化手法である。 本稿では,TBPTTアルゴリズムを用いて学習過程を改良する。 UIO-LLMは、Llama2-7b-chatのコンテキストウィンドウを4Kから100Kトークンに、2%の追加パラメータで拡張するなど、長いコンテキストを扱うことに成功した。
  論文  参考訳（メタデータ） (2024-06-26T08:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。