論文の概要: Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.28051v1
• Date: Wed, 27 May 2026 06:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.82727
• Title: Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models
• Title（参考訳）: サロゲート勾配を超える:ビジョンランゲージモデルのための完全に微分可能なトーケンプルーニング
• Authors: Landi He, Mingde Yao, Shawn Young, Lijian Xu,
• Abstract要約: 本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。 10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。
• 参考スコア（独自算出の注目度）: 8.48481119028537
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Visual token pruning reduces the computational cost of Vision-Language Models (VLMs) by removing redundant visual tokens. Existing methods typically rely on Gumbel-Softmax to approximate discrete selection during training. However, the optimization is driven by surrogate gradients rather than the true selection process, leading to unreliable learning of token importance. In this paper, we propose DiffPrune, which reformulates pruning as continuous control of token information instead of discrete selection learning. Specifically, we introduce an Information Throttler that modulates each token using variance-preserving noise conditioned on importance scores, where higher scores induce less information suppression during training. This design directly operates on token representations, naturally providing a fully differentiable optimization path for learning token importance. At inference, tokens are removed via hard thresholding on the learned scores. Across ten VLM benchmarks, DiffPrune retains 96.5% of full-model accuracy while accelerating LLM prefill by 2.85x, with only 0.69 ms of inference overhead.
• Abstract（参考訳）: 視覚トークンプルーニングは、冗長な視覚トークンを取り除き、視覚言語モデル(VLM)の計算コストを削減する。 既存の方法は通常、訓練中に離散選択を近似するためにGumbel-Softmaxに依存する。 しかし、最適化は真の選択過程ではなく、代用勾配によって駆動され、トークンの重要性を信頼できない学習に繋がる。 本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。 具体的には,重要スコアに基づく分散保存雑音を用いて各トークンを変調するインフォメーション・スロットラーを導入する。 この設計はトークン表現を直接操作し、トークンの重要性を学習するための完全に微分可能な最適化パスを提供する。 推論では、トークンは学習したスコアのハードしきい値によって取り除かれる。 10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。

関連論文リスト

• ID-Selection: Importance-Diversity Based Visual Token Selection for Efficient LVLM Inference [58.28899599773308]
  ID選択は、効率的なLVLM推論のための単純だが効果的なトークン選択戦略である。 統一選択プロセスにおける冗長性を低減しつつ、情報トークンを保存する。 5つのLVLMバックボーンと16のベンチマークによる実験は、ID選択が一貫して優れたパフォーマンスと効率を達成することを示した。
  論文  参考訳（メタデータ） (2026-04-07T08:52:28Z)
• The Model Knows Which Tokens Matter: Automatic Token Selection via Noise Gating [2.503823246244002]
  視覚トークンは視覚言語モデル(VLM)の推論コストを支配している 容量制約通信として視覚トークンプルーニングを再構成する。 本稿では,軽量なScorerとDenoiserを凍結したVLMにアタッチし,次のトークン予測損失のみをトレーニングするAutoSelectを提案する。
  論文  参考訳（メタデータ） (2026-03-07T09:57:35Z)
• D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
  D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。 FLOPを74.2%削減し、元の性能の99.2%を維持した。 既存の手法に比べて63.53%も改善されている。
  論文  参考訳（メタデータ） (2025-12-22T14:42:31Z)
• EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
  拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。 本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
  論文  参考訳（メタデータ） (2025-11-29T23:47:47Z)
• ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning [51.133569963553576]
  ssTokenは自己変調されたセマンティックなToken Selectionアプローチである。 自己変調の選択とセマンティック・アウェアの選択の両方が、フルデータの微調整よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-21T03:21:04Z)
• Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models [16.540220733551823]
  VLM(Large Vision-Language Models)は、強力なマルチモーダル推論を実現するが、冗長な視覚トークンから重い推論コストを発生させる。 注意に基づく手法は、しばしばレイヤやヘッド間で不安定な生の注意スコアに依存する。 簡単な直感に基づいて構築されたトレーニング不要のフレームワークとして,我々の提案する。
  論文  参考訳（メタデータ） (2025-09-29T14:20:05Z)
• Fast Quiet-STaR: Thinking Without Thought Tokens [51.79231070632772]
  Fast Quiet STaRは、より効率的な推論フレームワークであり、計算コストを削減しながらトークンレベルの推論の利点を保存する。 本手法では,段階的に思考トークン数を減少させるカリキュラムベースの学習戦略を導入する。 Mistral 7BとQwen2.5 7Bによる4つのベンチマークデータセットの実験では、Fast Quiet-STaRが平均精度でQuiet-STaRを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2025-05-23T11:14:12Z)
• LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
  ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
  論文  参考訳（メタデータ） (2022-10-03T17:56:35Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。