論文の概要: SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2610.12327v1
• Date: Thu, 08 Oct 2026 17:06:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.200756
• Title: SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference
• Title（参考訳）: スパースデコーディング: 高精度かつ効率的なLLM推論のためのデコード対応プルーニング
• Abstract要約: 大規模言語モデルのためのデコード対応プルーニングフレームワークであるSparseDecodingを紹介する。 提案手法は,長文生成ベンチマークにおける標準固定テキスト校正よりも一貫して優れる。
• 参考スコア（独自算出の注目度）: 6.742519062863308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The memory-bound nature of the decoding stage of large language model (LLM) inference incurs significant latency. Layer-wise training-free network pruning approaches guided by the Hessian have been a prominent solution to this problem, as pruning reduces the number of nonzero parameters read from memory during decoding. Nevertheless, typical methods in this line compute the Hessian using pre-collected natural sequences, whereas the model is fed self-generated tokens during decoding, creating a distribution shift between the two sequences. The Hessian calculated on the natural sequence is different from that calculated on the generated sequence. We observe that this discrepancy causes the activation distribution during generation to deviate from that used for pruning, further hurting the pruned model performance. Moreover, most existing LLM pruning methods that bring actual speedup primarily target the sparse matrix-matrix (SpMM) multiplication, providing limited support for the sparse matrix-vector (SpMV) operations, which dominate decoding. To solve these problems, we introduce SparseDecoding, a principled decoding-aware pruning framework tailored for accurate and efficient LLM decoding. Specifically, at the algorithmic axis, SparseDecoding constructs calibration matrices from layer-wise activations collected during the dense-model autoregressive generation, excluding prefill, thereby aligning the pruning objective with the decoding activations. At the system axis, we develop an optimized N:M sparse matrix-vector kernel with bitmask indexing and fixed-step traversal. Substantial empirical results on representative LLMs (Llama-3.1-8B, Llama-3.3-70B, Qwen3-14B / 32B) demonstrate that our method consistently outperforms standard fixed-text calibration on the long-form generation benchmarks while achieving up to 1.48x end-to-end wall-clock decoding speedup on A100 GPUs.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論のデコードステージのメモリバウンド特性は大きな遅延を引き起こす。 階層的なトレーニング不要なネットワークプルーニングアプローチは、デコード中にメモリから読み込まれる非ゼロパラメータの数を減少させるため、この問題に対する顕著な解決策となっている。 しかしながら、この行の典型的な方法は、事前にコンパイルされた自然列を用いてヘッセンを計算し、一方、モデルは復号時に自己生成トークンを供給し、2つの列間の分配シフトを生成する。 自然列で計算されたヘッセンは、生成された列で計算されたヘッセンとは異なる。 我々は,この不一致が生成時の活性化分布をプルーニングに用いたものから逸脱させ,さらにプルーニングモデルの性能を損なうことを観察した。 さらに、実際のスピードアップをもたらす既存のLCMプルーニング手法は、主にスパース行列行列行列(SpMM)乗算をターゲットとしており、デコードを支配するスパース行列ベクトル(SpMV)演算を限定的にサポートする。 これらの問題を解決するために,LLMデコーディングの正確かつ効率的な設計に適したデコード対応プルーニングフレームワークであるSparseDecodingを紹介した。 具体的には、アルゴリズム軸において、SparseDecodingは、プレフィルを除いた高密度モデル自己回帰生成時に収集された層回りのアクティベーションからキャリブレーション行列を構築し、プルーニング目的をデコードアクティベーションと整合させる。 システム軸では、ビットマスクインデックスと固定ステップトラバーサルを備えた最適化されたN:Mスパース行列ベクトルカーネルを開発する。 代表的なLCM(Llama-3.1-8B,Llama-3.3-70B,Qwen3-14B / 32B)の実質的な実験結果から,A100 GPUの最大1.48倍のエンドツーエンドのウォールクロック復号速度を達成しつつ,長文生成ベンチマークにおける標準固定テキスト校正を一貫して上回っていることが示された。

関連論文リスト

• SVD Contextual Sparsity Predictors for Fast LLM Inference [0.0]
  本稿では,大規模言語モデル(LLM)におけるReGLUベースのフィードフォワードネットワーク(FFN)の推論を高速化するためのフレームワークを提案する。 実験では、複雑な数学やコード生成を含むタスクにおけるベンチマークスコアの1%未満の劣化を維持しながら、エンドツーエンドのデコーディング時間を1.8倍に削減した。
  論文  参考訳（メタデータ） (2026-03-14T20:36:13Z)
• Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
  拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。 コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
  論文  参考訳（メタデータ） (2025-10-20T23:38:12Z)
• Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models [8.407364705777587]
  本稿では,DLLMに適した高速デコードアルゴリズムFree Draft-and-Verification(FreeDave)を紹介する。 FreeDaveは、パフォーマンスを低下させることなく、推論スループットを最大3.78倍に向上させることが証明されている。
  論文  参考訳（メタデータ） (2025-09-30T21:28:04Z)
• Wide-In, Narrow-Out: Revokable Decoding for Efficient and Effective DLLMs [57.69190972274813]
  Diffusion Large Language Models (DLLM) は、自動回帰モデルの魅力的な代替品として登場した。 既存のDLLMは、高速な並列復号化によって性能が著しく低下する、厳しい品質と速度のトレードオフに悩まされている。 本稿では,DLLMの復号化を可能にするトレーニング不要復号アルゴリズムであるWide-In, Narrow-Out (WINO)を紹介する。
  論文  参考訳（メタデータ） (2025-07-24T16:51:33Z)
• AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism [17.858104076062897]
  大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。 補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
  論文  参考訳（メタデータ） (2025-06-04T08:32:30Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。