論文の概要: TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.17530v1
• Date: Tue, 13 Oct 2026 00:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.922701
• Title: TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models
• Title（参考訳）: TwinPrune:ビジョンランゲージモデルのための密度対応2相トーケンプルーニング
• Abstract要約: 両方の推論フェーズにおいてトークンの重要性を評価するために,空間密度を統一した信号を提案する。 プリフィルプローブは、最初のデコードされたトークンのみを評価し、その精度は、任意のデコードKV消去の前にプリフィルロジットargmaxを反映する。 デコードの場合、密度トップkのKV消去は強いベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 34.91720571833001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a unified spatial-density signal to score token importance for both inference phases: bipartite merge for prefill and KV eviction for decode, yielding measurable gains in each stage. To isolate the two phases, we split benchmarks by scoring logic. Prefill probes (MMBench, POPE, ScienceQA) evaluate only the first decoded token; their accuracy reflects prefill logits argmax before any decode KV eviction. Full-pipeline probes (TextVQA, DocVQA, MM-Vet) assess the complete generated sequence and capture both phases. We identify a critical evaluation pitfall: decode pruning claims validated solely on prefill probes measure prefill quality, not decode performance. Experiments show discarding all visual KV during decode barely affects prefill-probe accuracy but degrades TextVQA and MM-Vet drastically; this insensitivity stems from the scoring rule, not compression intensity.Evaluated on seven model variants (InternVL-3.5, Qwen3-VL, LLaVA-1.5) and three full-pipeline benchmarks, our method achieves a three-way Pareto frontier across compute, memory and accuracy. Density-based prefill compression maintains strong accuracy, scales linearly with visual token count, and delivers 100x faster token selection at high resolution. For decode, density top-k KV eviction consistently outperforms strong baselines H2O, SnapKV and StreamingLLM on TextVQA and MM-Vet across three retention ratios. At 0.125 keep ratio on TextVQA, it surpasses H2O by 9.6 points; InternVL-3.5 models (2B to 38B) maintain a 7 to 10 point advantage. Compression scales favorably with model size: every measured 8B to 38B model transition reduces accuracy loss instead of worsening it. We suggest MM-Vet or DocVQA as mandatory full-pipeline validation for any decode-phase claims. Our code is available at https://github.com/Kai-Liu001/TwinPrune
• Abstract（参考訳）: 本稿では,両位相におけるトークンの重要度を評価するために,プリフィルとデコードのためのKVエクリエーションの両倍率,各段階において測定可能な利得が得られるような統一された空間密度信号を提案する。 2つのフェーズを分離するために、ベンチマークをスコアリングロジックで分割した。 プリフィルプローブ(MMBench、POPE、ScienceQA)は、最初のデコードされたトークンのみを評価する。 フルパイププローブ (TextVQA, DocVQA, MM-Vet) は、完全な生成シーケンスを評価し、両方のフェーズをキャプチャする。 プリフィルプローブのみに検証されたデコードプルーニングクレームは、デコード性能ではなく、プリフィル品質を測定する。 この感度は7種類のモデル(InternVL-3.5, Qwen3-VL, LLaVA-1.5)と3種類のフルピペリンベンチマークで評価され, 計算, メモリ, 精度の3方向のパレートフロンティアを実現する。 密度ベースのプリフィル圧縮は、高い精度を維持し、視覚的トークン数と線形にスケールし、高解像度で100倍高速なトークン選択を提供する。 デコードの場合、密度トップkのKV消去は、3つの保持率でH2O, SnapKV, StreamingLLM を TextVQA と MM-Vet で一貫して上回る。 TextVQAの0.125ヘクタール比はH2Oを9.6ポイント上回り、InternVL-3.5モデル(2Bから38B)は7点から10点の優位性を維持している。 圧縮はモデルサイズと良好にスケールし、測定された8Bから38Bのモデル遷移は、それを悪化させることなく精度の低下を減少させる。 MM-Vet や DocVQA をデコードフェーズのクレームに対して必須の完全パイプライン検証として提案する。 私たちのコードはhttps://github.com/Kai-Liu001/TwinPruneで利用可能です。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• SemKV: Semantic Mixed-Precision KV Cache Quantization Guided by the Quality Cliff for Long-Context LLM Inference [3.2938220347051175]
  分数ビットグリッド上の均一なKV量子化は、優雅に分解されないことを示す。 本稿では,アフィンベースを歪み最適化量子化器 (TurboQuant-MSE) に置き換えることによって,テスト対象のプロトコルの崖を突破することを示す。
  論文  参考訳（メタデータ） (2026-08-28T22:19:47Z)
• VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs [7.825137277264239]
  キーバリューキャッシュは、Long-context Large Language Model(LLM)推論における主要なメモリボトルネックである。 VarRateはトレーニング不要のKVで、クエリサリエンスによって各トークンに可変低ランクの予算を割り当て、すべてのトークンを非ゼロランクに保つ。 VarRateは4つの設定のうち3つで精度が同等で、全体の1ポイント以内で、プリフィルオーバーヘッドの約8分の1である。
  論文  参考訳（メタデータ） (2026-07-16T23:03:14Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss [8.481133435038839]
  大規模な推論モデルは、長い自己回帰復号によって競合レベルの数学と符号化精度に達する。 ウェイト量子化はアクセラレーションの標準ツールであるが、長復号推論ベンチマークでは、代表的なレシピが正確さを失う。 そこで我々はLookAhead Quantization (LAQuant) を提案する。
  論文  参考訳（メタデータ） (2026-05-09T07:35:38Z)
• Shallow Prefill, Deep Decoding: Efficient Long-Context Inference via Layer-Asymmetric KV Visibility [8.591057149485676]
  emphShallow Prefill, dEEp Decode (SPEED) は非アンカープロンプトのKV可視性ポリシーである。 Speedは、上位レイヤのDecode可視性セットからプリフィルトークンを完全に削除する。 その結果,SPEEDは全深度モデルの主要なプロンプト選択領域と表現安定化領域を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-05-07T12:21:03Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。