論文の概要: DiffPrune: differentiable information throttling for token pruning in vision-language models
- arxiv url: http://arxiv.org/abs/2608.01985v1
- Date: Mon, 03 Aug 2026 09:46:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.476935
- Title: DiffPrune: differentiable information throttling for token pruning in vision-language models
- Title（参考訳）: DiffPrune:視覚言語モデルにおけるトークンプルーニングのための識別可能な情報スロットリング
- Abstract要約: トークンスコアに直接的な意味を与えるDiffPruneを提案する。
10のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持している。
- 参考スコア（独自算出の注目度）: 8.48481119028537
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Visual token pruning reduces the computational cost of Vision-Language Models (VLMs) by removing redundant visual tokens. The key is to learn a score that measures whether a token is useful. Existing methods typically rely on Gumbel-Softmax to approximate discrete selection during training. Such selectors make the score depend on the behavior of a relaxed pruning operator, not directly on the consequence of information loss. In this paper, we propose DiffPrune, which gives token scores a direct meaning. During training, DiffPrune keeps all tokens and weakens each token's information according to its score. If weakening a token hurts the task, the scorer is pushed to protect it; if not, the token can receive a lower score. Because the loss is differentiated through this actual information-throttling path, the scorer avoids the unstable surrogate path of relaxed token selection. DiffPrune implements this idea with an Information Throttler, which injects variance-preserving noise into visual tokens, where high-score tokens remain close to their original representations, while low-score tokens carry less original information. At inference, the throttler is removed, and hard top-K pruning is applied using the learned scores. Across ten VLM benchmarks, DiffPrune retains 96.5% of full-model accuracy while accelerating LLM prefill by 2.85x, with only 0.69 ms inference overhead. Code will be publicly available.
- Abstract（参考訳）: 視覚トークンプルーニングは、冗長な視覚トークンを取り除き、視覚言語モデル(VLM)の計算コストを削減する。
鍵となるのは、トークンが有用かどうかを測定するスコアを学習することだ。
既存の方法は通常、訓練中に離散選択を近似するためにGumbel-Softmaxに依存する。
このようなセレクタは、情報損失の結果に直接依存するのではなく、緩和されたプルーニング演算子の振舞にスコアを依存させる。
本稿では,トークンスコアに直接的な意味を与えるDiffPruneを提案する。
トレーニング中、DiffPruneはすべてのトークンを保持し、スコアに応じて各トークンの情報を弱める。
トークンの弱体化がタスクを損なう場合、スコアラーはそれを保護するためにプッシュされ、そうでなければ、トークンは低いスコアを受け取ることができる。
損失はこの実際の情報回転経路を介して微分されるので、スコアラは緩和されたトークン選択の不安定な代理パスを避ける。
DiffPruneはこのアイデアを、分散保存ノイズを視覚トークンに注入するInformation Throttlerで実装している。
推論時に、スロットラーを除去し、学習したスコアを用いてハードトップKプルーニングを適用する。
10個のVLMベンチマークで、DiffPruneは96.5%のフルモデルの精度を維持し、LLMのプリフィルは2.85倍、推測オーバーヘッドはわずか0.69msである。
コードは公開されます。
関連論文リスト
- Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models [8.48481119028537]
本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。
10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。
論文 参考訳（メタデータ） (2026-05-27T06:52:08Z) - Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack [78.02110947708535]
敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。
敵の攻撃を成功させるには、画像全体を一様に依存するのではなく、重要な画像トークンの小さなサブセットに依存していることを示す。
本稿では,これらのトークンを勾配解析により局所化し,マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。
論文 参考訳（メタデータ） (2026-05-24T17:51:34Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳（メタデータ） (2026-04-14T18:19:54Z) - ID-Selection: Importance-Diversity Based Visual Token Selection for Efficient LVLM Inference [58.28899599773308]
ID選択は、効率的なLVLM推論のための単純だが効果的なトークン選択戦略である。
統一選択プロセスにおける冗長性を低減しつつ、情報トークンを保存する。
5つのLVLMバックボーンと16のベンチマークによる実験は、ID選択が一貫して優れたパフォーマンスと効率を達成することを示した。
論文 参考訳（メタデータ） (2026-04-07T08:52:28Z) - The Model Knows Which Tokens Matter: Automatic Token Selection via Noise Gating [2.503823246244002]
視覚トークンは視覚言語モデル(VLM)の推論コストを支配している
容量制約通信として視覚トークンプルーニングを再構成する。
本稿では,軽量なScorerとDenoiserを凍結したVLMにアタッチし,次のトークン予測損失のみをトレーニングするAutoSelectを提案する。
論文 参考訳（メタデータ） (2026-03-07T09:57:35Z) - SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
論文 参考訳（メタデータ） (2025-10-28T09:29:37Z) - TokenButler: Token Importance is Predictable [8.514853311344458]
大規模言語モデル(LLM)はトークン履歴を保存するためにキーバリューキャッシュ(KV)に依存しており、トークンの効率的な復号を可能にする。
以前の研究では、トークンの小さなサブセットのみが、各デコードステップに有意義に寄与することが示されている。
TokenButlerは、これらの重要なトークンを識別することを学ぶ、高粒度でクエリ対応の予測器である。
論文 参考訳（メタデータ） (2025-03-10T16:41:14Z) - Stop Looking for Important Tokens in Multimodal Language Models: Duplication Matters More [18.928285521147057]
トークンがプルーニングされるべきかどうかを決定するのに、重要さは理想的な指標ではないことを示す。
DART(Duplication-Aware Reduction of Tokens)を提案する。
実験によると、DARTは88.9%の視覚トークンを出力でき、同等のパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-02-17T06:56:28Z) - Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。
市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。
結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
論文 参考訳（メタデータ） (2023-08-08T19:38:15Z) - How can objects help action recognition? [74.29564964727813]
より優れたビデオモデルを設計するために、オブジェクトの知識をどのように利用できるかを検討する。
まず,入力トークンの少数の保持が可能なオブジェクト誘導型トークンサンプリング戦略を提案する。
第二に、オブジェクト情報で特徴表現を豊かにするオブジェクト認識アテンションモジュールを提案する。
論文 参考訳（メタデータ） (2023-06-20T17:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。