論文の概要: StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection
- arxiv url: http://arxiv.org/abs/2609.16841v1
- Date: Tue, 15 Sep 2026 08:35:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.416591
- Title: StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection
- Title（参考訳）: StackTok: 予算適応型ビジュアルトークン選択によるVLM推論の高速化
- Abstract要約: StackTokはトレーニング不要のセレクタで、クエリ関連を客観的かつ視覚的なカバレッジとして扱い、予算の校正サポートとして扱う。
試験されたすべてのモデルにおいて、トレーニング不要のセレクタの中では、第1位である。
高解像度のLLaVA-NeXT-7Bでは、95.26%のフルトーケン性能を保ち、2,880 (5.6%) の視覚トークンしか持たない。
- 参考スコア（独自算出の注目度）: 17.809800994999225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Increasing image resolution produces ever-longer visual-token sequences in vision-language models (VLMs), substantially raising their inference cost. To reduce this overhead without retraining, existing methods select compact token subsets that prioritize query relevance, visual coverage, or a fixed trade-off between them. The appropriate balance, however, varies across queries and token budgets: localized questions favor relevance, whereas holistic questions demand broader visual coverage. We introduce StackTok, a training-free selector that treats query relevance as the objective and visual coverage as budget-calibrated support. StackTok builds a size-indexed coverage reference from a coverage-only greedy sequence and adjusts its support target using query--vision affinity entropy. A reference-gated interleaved selection policy then switches between relevance- and coverage-oriented additions according to the current subset's support deficit. For high-resolution inputs, StackTok allocates one shared token budget across crops according to the combined marginal gain of locally nominated tokens. Evaluated with five VLMs over ten distinct image-understanding benchmarks, StackTok ranks first among training-free selectors in every tested model--budget setting. On high-resolution LLaVA-NeXT-7B, it retains 95.26% of full-token performance with only 160 of 2{,}880 (5.6%) visual tokens.
- Abstract（参考訳）: 画像解像度の増大は、視覚言語モデル(VLM)においてより長い視覚的なシーケンスを生成し、その推論コストを大幅に向上させる。
このオーバーヘッドを軽減するために、既存のメソッドでは、クエリの関連性、視覚的カバレッジ、あるいはそれらの間のトレードオフを優先順位付けする、コンパクトなトークンサブセットを選択している。
しかし、適切なバランスはクエリやトークンの予算によって異なり、ローカライズされた質問は関連性を支持するが、全体論的な質問はより広範な視覚的カバレッジを要求する。
トレーニング不要のセレクタであるStackTokを導入し,クエリ関連性を客観的かつ視覚的カバレッジとして扱う。
StackTokは、カバレッジのみのgreedyシーケンスからサイズインデクシングされたカバレッジリファレンスを構築し、クエリ-ビジョン親和性エントロピーを使用してそのサポートターゲットを調整する。
基準付きインターリーブ選択ポリシーは、現在のサブセットのサポート不足に応じて、関連性およびカバレッジ指向の追加を切り替える。
高解像度の入力では、StackTokは、ローカルに指定されたトークンのマージンの合計ゲインに応じて、作物間で共有トークンの予算を1つ割り当てる。
StackTokは10の異なるイメージベースベンチマークで5つのVLMを評価し、テスト対象のモデル毎にトレーニング不要のセレクタとして第1位である。
高解像度のLLaVA-NeXT-7Bでは、95.26%のフルトーケン性能を維持し、2{,}880 (5.6%)の視覚トークンしか持たない。
関連論文リスト
- HAP: Head-Adaptive Visual Token Pruning via Cross-Modal Alignment [76.68875424389057]
既存の手法では、すべての頭部に一様にテキストから視覚への注意を平均化することで、各視覚トークンをスコアリングする。
頭が不一致で 平均的に支配され 背景のトークンを増幅し きめ細かな手がかりを 吐き出す
本稿では,各頭部のプロンプトと画像領域の整合性を評価する指標であるPAQ(Prompt-Grounded Attention Quality)を提案する。
論文 参考訳（メタデータ） (2026-08-24T23:55:36Z) - LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。
完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
論文 参考訳（メタデータ） (2026-07-30T09:59:25Z) - GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models [9.490341327220987]
Greedy Orthogonal Token Selection (GOTS)は、視覚的トークン削減のためのトレーニング不要でクエリに依存しない方法である。
GOTSは最強評価ベースラインよりも高い平均性能保持を実現する。
OCR選択のオーバーヘッドを考慮した後、モデル側のタイム・ツー・ファースト・トークンを削減する。
論文 参考訳（メタデータ） (2026-07-27T01:06:20Z) - Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - AnchorPrune: Relevance-Anchored Contextual Expansion for Visual Token Pruning [8.862195491555575]
大規模な視覚言語モデルは、高解像度の入力が数千の視覚トークンをもたらすため、かなりの推論コストを発生させる。
トレーニング不要のフレームワークであるAnchorPruneを紹介します。
LLaVA-NeXT-7Bでは、AnchorPruneは2,880個の視覚トークンのうち160個しか使用せず、97.6%のフルトーケン性能を維持している。
論文 参考訳（メタデータ） (2026-07-08T06:07:06Z) - Budget-Aware Routing for Long Clinical Text [8.474809035213118]
大きな言語モデルの大きな課題は、クエリ毎のトークンコストとデプロイメント全体のコストです。
文書単位のサブセットが厳格なトークン予算の下で選択される、予算付きコンテキスト選択について検討する。
関連性,カバレッジ,多様性のバランスをとるモノトンサブモジュラー目的のtextbfRCD を提案する。
論文 参考訳（メタデータ） (2026-05-01T01:34:53Z) - Adaptive Greedy Frame Selection for Long Video Understanding [11.923839324117674]
大規模視覚言語モデル(VLM)は、長ビデオ質問応答にますます応用されている。
推論は入力フレームの数と結果の視覚トークンによってボトルネックとなることが多い。
固定フレーム予算下でのクエリ関連性とセマンティックな表現性を協調的に最適化する問合せ適応型グレディフレーム選択法を提案する。
論文 参考訳（メタデータ） (2026-03-20T17:55:32Z) - VLM-Pruner: Buffering for Spatial Sparsity in an Efficient VLM Centrifugal Token Pruning Paradigm [18.604455802016233]
視覚言語モデル(VLM)は画像理解タスクに優れるが、多数の視覚トークンは計算コストを大幅に上回る。
VLM-Prunerは、冗長性と空間空間幅のバランスをとる訓練不要なトークンプルーニングアルゴリズムである。
VLM-Prunerは5つのVLMにおいて88.9%のプルーニングレートで強いベースラインを一貫して上回り、エンドツーエンドの推論スピードアップを実現している。
論文 参考訳（メタデータ） (2025-12-02T12:30:05Z) - SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs [59.415473779171315]
textbfSaliency-textbfCoverage textbfOriented token textbfPruning for textbfEfficient MLLMs。
論文 参考訳（メタデータ） (2025-10-28T09:29:37Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳（メタデータ） (2025-05-30T15:42:19Z) - QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。
QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。
クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
論文 参考訳（メタデータ） (2025-03-11T17:59:57Z) - Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。
Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
論文 参考訳（メタデータ） (2025-02-19T08:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。