論文の概要: Stepwise Token Selection for Efficient Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2606.16067v1
- Date: Sun, 14 Jun 2026 23:50:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:34.014399
- Title: Stepwise Token Selection for Efficient Multimodal Large Language Models
- Title（参考訳）: 効率的な多モーダル大言語モデルのためのステップワイズトークン選択
- Abstract要約: 本稿では,情報トークンを反復的に選択し,事前に選択したトークンに対して各決定を条件付けし,いつ停止するかを動的に決定するポインタスタイルの選択機構を提案する。
視覚トークンの88.9%を除去するアグレッシブプルーニングでは、初期精度の94.6%を保ち、プリフィル遅延の1.88倍のスピードアップを達成する。
- 参考スコア（独自算出の注目度）: 0.7233065479782755
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In multimodal large language models (MLLMs), inference cost is largely dominated by the visual token prefix rather than the language backbone, making token reduction a key factor for improving efficiency. Existing approaches typically assign independent importance scores to visual tokens and retain a fixed number of top-ranked tokens, implicitly assuming token independence and a uniform compression ratio across inputs. In this work, we reformulate visual token pruning as a sequential decision-making process. Specifically, we introduce a pointer-style selection mechanism that iteratively chooses informative tokens, conditioning each decision on previously selected ones, and dynamically determines when to stop via a learned termination action. This enables joint optimization of both the selected subset and its size. To enable end-to-end training under standard language modeling objectives, we design a differentiable relaxation based on a variance-preserving noise interpolation scheme, allowing gradients to propagate through the discrete selection process. Extensive experiments on LLaVA-v1.5-7B and Qwen2.5-VL-7B demonstrate that our approach consistently outperforms fixed-ratio baselines across different compression levels. Under aggressive pruning that removes 88.9% of visual tokens, our method preserves 94.6% of the original accuracy while achieving a 1.88x speed-up in prefill latency.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)では、推論コストは言語バックボーンではなく、視覚トークンプレフィックスによって支配され、トークンの削減が効率向上の鍵となる。
既存のアプローチでは、視覚トークンに独立重要度スコアを割り当て、トークンの独立性を暗黙的に仮定し、入力間の一様圧縮比を仮定する、固定数の上位トークンを保持するのが一般的である。
本研究では,視覚的トークンプルーニングを逐次的意思決定プロセスとして再構成する。
具体的には、情報トークンを反復的に選択し、事前に選択したトークンに対して各決定を条件付けし、学習終了動作を介していつ停止するかを動的に決定するポインタスタイルの選択機構を導入する。
これにより、選択された部分集合とそのサイズを共同で最適化できる。
標準言語モデリングにおけるエンドツーエンドの学習を可能にするため、分散保存雑音補間方式に基づいて微分緩和を設計し、微分選択過程を通じて勾配を伝播させる。
LLaVA-v1.5-7B と Qwen2.5-VL-7B の広範囲な実験により, 提案手法は異なる圧縮レベルの固定比ベースラインを一貫して上回ることを示した。
視覚トークンの88.9%を除去するアグレッシブプルーニングでは、初期精度の94.6%を保ち、プリフィル遅延の1.88倍のスピードアップを達成する。
関連論文リスト
- Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models [86.02826269126308]
本稿では,局所スナップショット決定から時間軌道モデリング問題へのプルーニングを高める新しいフレームワークであるTrend-Aware Pruningを提案する。
これにより、"ラトブルーミング"トークンを選択的に再活性化する動的修正機構が実現される。
論文 参考訳（メタデータ） (2026-07-30T15:07:00Z) - Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。
パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
論文 参考訳（メタデータ） (2026-06-09T13:17:27Z) - Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models [8.48481119028537]
本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。
10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。
論文 参考訳（メタデータ） (2026-05-27T06:52:08Z) - OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models [49.34557936004057]
本稿では,マルチモーダル入力に対する適切な圧縮戦略を動的に選択する,トレーニングフリーなモダリティ適応型トークンプルーニングフレームワークを提案する。
本手法は, 訓練を必要とせず, 高い性能を維持しつつ, 効率的なマルチモーダルトークン削減を実現する。
論文 参考訳（メタデータ） (2026-05-18T08:33:52Z) - ID-Selection: Importance-Diversity Based Visual Token Selection for Efficient LVLM Inference [58.28899599773308]
ID選択は、効率的なLVLM推論のための単純だが効果的なトークン選択戦略である。
統一選択プロセスにおける冗長性を低減しつつ、情報トークンを保存する。
5つのLVLMバックボーンと16のベンチマークによる実験は、ID選択が一貫して優れたパフォーマンスと効率を達成することを示した。
論文 参考訳（メタデータ） (2026-04-07T08:52:28Z) - Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。
CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
論文 参考訳（メタデータ） (2026-03-26T02:13:03Z) - D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。
FLOPを74.2%削減し、元の性能の99.2%を維持した。
既存の手法に比べて63.53%も改善されている。
論文 参考訳（メタデータ） (2025-12-22T14:42:31Z) - ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning [51.133569963553576]
ssTokenは自己変調されたセマンティックなToken Selectionアプローチである。
自己変調の選択とセマンティック・アウェアの選択の両方が、フルデータの微調整よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-10-21T03:21:04Z) - Training-Free Token Pruning via Zeroth-Order Gradient Estimation in Vision-Language Models [16.540220733551823]
VLM(Large Vision-Language Models)は、強力なマルチモーダル推論を実現するが、冗長な視覚トークンから重い推論コストを発生させる。
注意に基づく手法は、しばしばレイヤやヘッド間で不安定な生の注意スコアに依存する。
簡単な直感に基づいて構築されたトレーニング不要のフレームワークとして,我々の提案する。
論文 参考訳（メタデータ） (2025-09-29T14:20:05Z) - Beyond Attention or Similarity: Maximizing Conditional Diversity for Token Pruning in MLLMs [30.97955016203357]
マルチモーダルな大言語モデルでは、入力される視覚トークンの長さはテキストのそれよりもはるかに大きいことが多い。
我々は,保持トークンの条件付き多様性を最大化する,CDPrunerという新しい視覚的トークン解析手法を提案する。
実験の結果、CDPrunerは様々な視覚ベースのベンチマークで新しい最先端を確立できることがわかった。
論文 参考訳（メタデータ） (2025-06-12T17:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。