Fugu-MT 論文翻訳(概要): StepPrune: Adaptive Sequential Visual Token Selection across Multimodal Large Language Models

論文の概要: StepPrune: Adaptive Sequential Visual Token Selection across Multimodal Large Language Models

arxiv url: http://arxiv.org/abs/2609.13804v1
Date: Sat, 12 Sep 2026 08:30:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.555373
Title: StepPrune: Adaptive Sequential Visual Token Selection across Multimodal Large Language Models
Title（参考訳）: StepPrune: マルチモーダルな大規模言語モデル間での適応的逐次視覚トークン選択
Abstract要約: 視覚的な接頭辞は、大きな言語モデルにおける層ごとの計算の大部分を占める。本稿では,適応的な逐次的決定プロセスとして視覚的なプルーニングを定式化するStepPruneを提案する。 StepPruneは、プレフィルのレイテンシを59.95ミリ秒から40.05ミリ秒に短縮し、プレフィルのスピードアップを1.50倍にする。
参考スコア（独自算出の注目度）: 8.919775207256498
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Visual prefixes account for a major portion of the per-layer computation in multimodal large language models (MLLMs), making visual-token pruning a direct approach to accelerating inference. Existing top-K methods typically evaluate tokens independently and apply a uniform budget to all inputs, overlooking both selection-dependent interactions and variations in visual complexity across samples. In contrast, we propose StepPrune, which formulates visual-token pruning as an adaptive sequential decision process. Conditioned on previously selected tokens and textual context, StepPrune progressively constructs the retained subset and automatically determines its size through a learned STOP action. During training, a variance-preserving noise gate provides a differentiable surrogate for the discrete selection process, whereas during inference, unselected tokens are physically removed before language-model prefill. A grouped selection mechanism further extends StepPrune to high-resolution inputs. Experiments across LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, and InternVL3 show that StepPrune achieves the best average normalized performance retention across all evaluated pruning rates on LLaVA-1.5, Qwen2.5-VL, and InternVL3, while remaining competitive on the substantially longer AnyRes prefixes of LLaVA-NeXT. On LLaVA-1.5, StepPrune retains 94.6% of the full-prefix normalized performance while pruning 88.9% of the visual tokens. At a mean retained count of 64, StepPrune reduces prefill latency from 59.95 ms to 40.05 ms, corresponding to a 1.50x prefill speed-up.
Abstract（参考訳）: 視覚的接頭辞は多モーダル大言語モデル(MLLM)における層ごとの計算の大部分を占めており、視覚的なプルーニングは推論を加速するための直接的なアプローチとなっている。既存のトップKメソッドは通常、トークンを独立して評価し、すべての入力に均一な予算を適用する。これとは対照的に、適応的な逐次決定プロセスとして視覚的なプルーニングを定式化するStepPruneを提案する。以前に選択されたトークンとテキストコンテキストに基づいて、StepPruneは、保持されたサブセットを段階的に構築し、学習されたSTOPアクションを通じてそのサイズを自動的に決定する。トレーニング中、分散保存ノイズゲートは離散選択プロセスに対して微分可能なサロゲートを提供するが、推論中は、未選択トークンは言語モデルのプリフィルの前に物理的に除去される。グループ選択機構はStepPruneをさらに高解像度入力に拡張する。 LLaVA-1.5、LLaVA-NeXT、Qwen2.5-VL、InternVL3での実験により、StepPruneはLLaVA-1.5、Qwen2.5-VL、InternVL3で評価されたすべてのプルーニングレートで最高の平均正規化パフォーマンス保持を達成する一方で、LLaVA-NeXTのAnyResプレフィックスでは競争力を維持した。 LLaVA-1.5では、StepPruneはフルプレフィックスの正規化性能の94.6%を保持し、ビジュアルトークンの88.9%をプルーニングしている。平均64の保持数では、StepPruneはプレフィルのレイテンシを59.95msから40.05msに短縮し、プレフィルのスピードアップは1.50倍になった。

関連論文リスト

Clustering and Token Denoising for Faster and More Robust VLMs [0.6999740786886536]
我々は、ロバストトークンプルーニングのための2部構成のトレーニングフリーアルゴリズムであるClustRSを紹介する。 ScienceQA-IMG と MM-VET のベンチマークによる実験結果から,本手法が注目度および多様性に基づく手法より優れていることが示された。我々の研究は、スコアオンリーとダイバーシティオンリーの両方のプルーニングルールに対して、単純ながら強力な代替手段を示し、計算効率とノイズ耐性のVLMデプロイメントへの道を開いた。
論文参考訳（メタデータ） (2026-08-19T11:20:26Z)
SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models [22.517061458809057]
本稿では,視覚トークンの効率的なプラグアンドプレイプルーニング手法であるSepPruneを提案する。 SepPruneはLLMの組み込みプロジェクションパラメータを再利用し、アーキテクチャの変更を必要としない。 Qwen2.5-VL-7Bの実験では、SepPruneは最先端のパフォーマンスを達成し、元の精度の96.3%を維持し、80.2%の視覚トークンを除去した。
論文参考訳（メタデータ） (2026-07-28T15:01:02Z)
Stepwise Token Selection for Efficient Multimodal Large Language Models [0.7233065479782755]
本稿では,情報トークンを反復的に選択し,事前に選択したトークンに対して各決定を条件付けし,いつ停止するかを動的に決定するポインタスタイルの選択機構を提案する。視覚トークンの88.9%を除去するアグレッシブプルーニングでは、初期精度の94.6%を保ち、プリフィル遅延の1.88倍のスピードアップを達成する。
論文参考訳（メタデータ） (2026-06-14T23:50:08Z)
Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models [8.48481119028537]
本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。 10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。
論文参考訳（メタデータ） (2026-05-27T06:52:08Z)
CrossVLA: Cross-Paradigm Post-Training and Inference Optimization for Vision-Language-Action Models [7.489020109808801]
われわれは,クロスパラダイム・ビジョン・ランゲージ・アクション(VLA)のポストトレーニングに関する実証的研究であるCrossVLAを報告する。 i) 確率フローODE統合なしでDPOを連続動作バックボーンで操作できる代理フローマッチングログ確率推定器、(ii) VLA DPOのパラメータ係数層としてのLoRAとDoRAの頭と頭の比較、(iii) ノイズループを示す推論時間解剖学は、サンプル_actions遅延の78.6%、プレフィックス-K/Vキャッシングのラを支配している。
論文参考訳（メタデータ） (2026-05-21T01:02:41Z)
Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
論文参考訳（メタデータ） (2026-03-10T10:31:58Z)
dVoting: Fast Voting for dLLMs [71.572316901001]
拡散大言語モデル(dLLMs)は自己回帰モデリングを超えた新しいパラダイムである。 dLLMは任意の位置で任意のトークンを並列に生成できるため、並列テストタイムスケーリングには大きな可能性がある。トレーニングなしで推論能力を高める高速投票手法であるdVotingを導入する。
論文参考訳（メタデータ） (2026-02-12T16:35:05Z)
AutoPrune: Each Complexity Deserves a Pruning Policy [58.448785378705566]
Complexity Pruning(AutoPrune)は、プルングポリシーをさまざまなサンプルやタスクの複雑さに合わせて調整する、トレーニングフリーのプラグイン・アンド・プレイフレームワークである。我々はAutoPruneを、標準的な視覚適応タスクと、自律運転のためのビジョン・ランゲージ・アクションモデルで評価する。
論文参考訳（メタデータ） (2025-09-28T15:09:00Z)
Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文参考訳（メタデータ） (2023-06-27T05:43:47Z)
Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation [68.25872110275542]
非自己回帰型機械翻訳のための効率的な推論手法を提案する。反復的に連続空間で純粋に翻訳を洗練させる。 We evaluate our approach on WMT'14 En-De, WMT'16 Ro-En and IWSLT'16 De-En。
論文参考訳（メタデータ） (2020-09-15T15:30:14Z)
ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
論文参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。