論文の概要: PDTrim: Targeted Pruning for Prefill-Decode Disaggregation in Inference

• arxiv url: http://arxiv.org/abs/2509.04467v3
• Date: Tue, 23 Sep 2025 08:31:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 16:16:25.774644
• Title: PDTrim: Targeted Pruning for Prefill-Decode Disaggregation in Inference
• Title（参考訳）: PDTrim: 推論におけるプリフィルデコードディスアグリゲーションのためのターゲットプルーニング
• Authors: Hao Zhang, Mengsi Lyu, Zhuo Chen, Xingrun Xing, Yulong Ao, Yonghua Lin,
• Abstract要約: 大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、その展開は高い計算とメモリコストに制約される。 より正確で効率的なブロックとKVキャッシュのプルーニングを可能にするPD分散推論のための新しいプルーニング法を提案する。
• 参考スコア（独自算出の注目度）: 16.54910591046794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) demonstrate exceptional capabilities across various tasks, but their deployment is constrained by high computational and memory costs. Model pruning provides an effective means to alleviate these demands. However, existing methods often ignore the characteristics of prefill-decode (PD) disaggregation in practice. In this paper, we propose a novel pruning method for PD disaggregation inference, enabling more precise and efficient block and KV Cache pruning. Our approach constructs pruning and distillation sets to perform iterative block removal independently for the prefill and decode stages, obtaining better pruning solutions. Moreover, we introduce a token-aware cache pruning mechanism that retains all KV Cache in the prefill stage but selectively reuses entries for the first and last token sequences in selected layers during decode, reducing communication costs with minimal overhead. Extensive experiments demonstrate that our approach consistently achieves strong performance in both PD disaggregation and PD unified settings without disaggregation. Under the same (default) settings, our method achieves improved performance and faster inference, along with a 4.95$\times$ reduction in data transmission bandwidth consumption.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる例外的な能力を示すが、その展開は高い計算とメモリコストに制約される。 モデルプルーニングは、これらの要求を緩和する効果的な手段を提供する。 しかし,既存の手法では,プリフィル・デコード(PD)のデアグリゲーションの特性を無視することが多い。 本稿では,PDデアグリゲーション推論のための新しいプルーニング手法を提案し,より正確で効率的なブロックとKVキャッシュのプルーニングを実現する。 本手法は, プレフィルおよびデコード段階で独立に反復的ブロック除去を行うために, プルーニングおよび蒸留セットを構築し, より優れたプルーニング解を得る。 さらに、プリフィル段階ではすべてのKVキャッシュを保持するが、デコード時に選択された層における第1および最後のトークンシーケンスのエントリを選択的に再利用し、通信コストを最小限のオーバーヘッドで削減するトークン対応キャッシュプルーニング機構を導入する。 広汎な実験により, PD分散化とPD統合化の両面において, 解離を伴わない強い性能が得られた。 同じ(デフォルト)設定下では、データ伝送帯域幅の消費を4.95$\times$で削減すると共に、性能の向上と推論の高速化を実現している。

関連論文リスト

• POP: Prefill-Only Pruning for Efficient Large Model Inference [5.743318651374061]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は目覚ましい能力を示している。 既存の構造化プルーニング法はハードウェア効率が良いが、しばしばかなりの精度の劣化に悩まされる。 この失敗は、プリフィルとデコードステージの間の非対称的な役割を無視する、ステージに依存しないプルーニングアプローチに起因している、と我々は主張する。
  論文  参考訳（メタデータ） (2026-02-03T09:22:26Z)
• SPA-Cache: Singular Proxies for Adaptive Caching in Diffusion Language Models [56.45983529954998]
  DLMキャッシュにおける更新識別と予算配分を共同で最適化するSPAキャッシュを提案する。 まず、低次元部分空間における更新臨界トークンの識別を可能にする低次元特異プロキシを導出する。 第2に、生成品質を劣化させることなく、安定したレイヤへの更新を少なくするアダプティブ戦略を導入する。
  論文  参考訳（メタデータ） (2026-01-30T05:22:44Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
  自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。 このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。 本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
  論文  参考訳（メタデータ） (2025-08-12T16:47:48Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [58.044803442346115]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおいてブレークスルーを実現するが、推論中に計算の複雑さやメモリオーバーヘッドに悩まされる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークであり、遅延双方向スパースキャッシングを経由するスパースアテンションである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• DiP-GO: A Diffusion Pruner via Few-step Gradient Optimization [22.546989373687655]
  本稿では,よりインテリジェントで微分可能なプルーナーを用いて,効率的な拡散モデルを導出する新しいプルーニング法を提案する。 提案手法はSD-1.5の4.4倍の高速化を実現し,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T12:18:24Z)
• Progressive Mixed-Precision Decoding for Efficient LLM Inference [49.05448842542558]
  我々は,デコーディングのメモリバウンドネスに対処するために,プログレッシブ・ミックス・プレシジョン・デコーディング(PMPD)を導入する。 PMPDはfp16モデルの行列ベクトル乗算において1.4$-$12.2$times$ Speedupを達成する。 我々の手法は、fp16モデルよりも3.8$-$8.0$times$、均一量子化アプローチよりも1.54$times$のスループット向上をもたらす。
  論文  参考訳（メタデータ） (2024-10-17T11:46:33Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference [19.447729423696096]
  大規模言語モデルは様々なドメインで優れていますが、キーバリュー(KV)キャッシュの増加によって効率上の課題に直面しています。 最近の取り組みは、実行中に大量の非クリティカルキャッシュ要素を排除し、KVキャッシュサイズを削減することを目的としている。 本稿では,Ada-KVを提案する。
  論文  参考訳（メタデータ） (2024-07-16T09:53:32Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
  このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。 側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。 我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• Constraint-aware and Ranking-distilled Token Pruning for Efficient Transformer Inference [18.308180927492643]
  ToPは、未精製モデルの最終層から初期精製モデルまで有効なトークンランキングを蒸留する、希釈型トークン蒸留技術である。 ToPは、GLUE上での競合精度を達成しつつ、BERTの平均FLOPを8.1倍削減し、Intel CPU上では7.4倍の遅延速度を提供する。
  論文  参考訳（メタデータ） (2023-06-26T03:06:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。