論文の概要: Are We Evaluating VLM Token Pruning Right? Looking Beyond Accuracy and Token Count

• arxiv url: http://arxiv.org/abs/2610.24740v1
• Date: Sat, 17 Oct 2026 15:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:35:58.078146
• Title: Are We Evaluating VLM Token Pruning Right? Looking Beyond Accuracy and Token Count
• Title（参考訳）: VLMトーケンプルーニングは正しいか? - 精度とトーケン数を超えて-
• Abstract要約: Visual token pruningは、オリジナルのVLMの機能を維持しながら、推論コストを削減することを目的としている。 既存の評価は、クリーニング品質と実際の効率性のためのプロキシとして、集合的タスク精度とトークン数に依存している。 既存のベンチマークのためのプラグアンドプレイ評価フレームワークであるPAA-Benchを導入し、有意義なトークン選択によってプルーニングが成功するかどうかを評価する。
• 参考スコア（独自算出の注目度）: 21.54979463775662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual token pruning aims to reduce inference cost while preserving the capabilities of the original VLM. Yet existing evaluations rely on aggregate task accuracy and retained token count as proxies for pruning quality and actual efficiency. We reveal two limitations: 1) Aggregate accuracy can obscure whether a pruning method truly identifies critical visual tokens; many examples remain solvable under arbitrary token removal and models can exploit textual shortcuts when visual evidence is degraded. 2) Retained token count is an unreliable proxy for efficiency, as identical token budgets can incur different end-to-end costs depending on where and how pruning is performed. Consequently, comparisons based on aggregate accuracy and retained token counts fail to recover the global performance-efficiency Pareto frontier across methods. We introduce PAA-Bench, a plug-and-play evaluation framework for existing benchmarks, to evaluate whether pruning succeeds through meaningful token selection and whether this success translates into real speedup. To determine when token choice actually matters, we propose Random-Pass@k to measure how often an example remains correct under random pruning, enabling comprehensive evaluation across different levels of selection difficulty. To compare efficiency fairly, we introduce Preservation-Constrained Speedup (PCS) to report the maximum end-to-end speedup each method achieves under a shared preservation target. Experiments across 8 methods, 3 VLM backbones, and 9 benchmarks show that stronger token compression does not necessarily yield greater speedup, method differences widen on examples where token selection matters, and efficiency rankings change with the preservation target.
• Abstract（参考訳）: Visual token pruningは、オリジナルのVLMの機能を維持しながら、推論コストを削減することを目的としている。 しかし、既存の評価では、クオリティと実際の効率を上げるためのプロキシとして、タスクの集合精度とトークン数の保持に依存している。 私たちは2つの制限を明らかにします。 1)プルーニング法が真に重要な視覚的トークンを識別するかどうかを把握でき,任意のトークン除去の下では,多くの例が解決可能であり,視覚的証拠が劣化した場合には,モデルがテキストによるショートカットを活用できる。 2)保持トークン数(Retained token count)は、同一のトークン予算が、どこで、どのようにプルーニングが行われるかによって、異なるエンドツーエンドコストを発生させることができるため、効率性に対する信頼性の低いプロキシである。 その結果、集計精度と保持トークン数に基づく比較では、メソッド間でのパレートフロンティアのグローバルな性能回復に失敗する。 既存のベンチマークのためのプラグアンドプレイ評価フレームワークであるPAA-Benchを導入し、有意義なトークン選択によってプルーニングが成功するかどうか、そしてこの成功が実際のスピードアップに変換されるかどうかを評価する。 トークンの選択が実際に重要であるかどうかを判断するために、ランダムプルーニングにおいてサンプルがどの程度の頻度で正しいかを測定するためにRandom-Pass@kを提案する。 効率を公平に比較するため,PCS(Preservation-Constrained Speedup)を導入し,各手法が達成した最大エンドツーエンドのスピードアップを共有保存対象下で報告する。 8つの方法、3つのVLMバックボーン、9つのベンチマークによる実験では、より強いトークン圧縮が必ずしもより大きなスピードアップをもたらすとは限らないことが示され、トークン選択が重要となる例ではメソッド差が広くなり、保存対象に応じて効率ランキングが変化する。

関連論文リスト

• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• On the Token Value Inequality in Efficient Reasoning [68.73741968444614]
  連鎖推論により、大規模な言語モデルによって複雑なタスクにおいて大幅なパフォーマンス向上が達成された。 推論トレースのすべてのトークンは、同等に価値がありますか? 本稿では,重要な経験的発見を基盤とした診断・最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-27T22:15:38Z)
• LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
  LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。 完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
  論文  参考訳（メタデータ） (2026-07-30T09:59:25Z)
• Decomposing Reasoning Efficiency in Large Language Models [2.4149105714758545]
  我々はトークン効率を、固定されたトークン予算の下での完了、与えられた完了条件の正確性、冗長性といった、解釈可能な要因に分解する。 推論トレースが利用可能であれば、冗長だが拡張された推論からループを分離するために決定論的トレース品質尺度を追加します。 我々の分解は、異なる効率の介入を示唆する異なるボトルネックプロファイルを明らかにします。
  論文  参考訳（メタデータ） (2026-02-10T14:09:18Z)
• TokenSqueeze: Performance-Preserving Compression for Reasoning LLMs [57.217593337454026]
  TokenSqueezeは、パフォーマンスを保ち、自己生成データにのみ依存しながら推論パスを凝縮する新しいLong2Shortメソッドである。 TokenSqueeze は MATH500 ベンチマークの精度を維持しながらトークンの使用量を削減できることを示す。
  論文  参考訳（メタデータ） (2025-11-17T10:38:56Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
  投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。 既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。 我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
  論文  参考訳（メタデータ） (2025-05-24T10:26:27Z)
• Revisiting Token Pruning for Object Detection and Instance Segmentation [25.3324628669201]
  オブジェクトとインスタンスのセグメンテーションの推論を高速化するトークンプルーニングについて検討する。 従来のトークンプルーニング法と比較して,ボックス・マスクともに1.5mAPから0.3mAPに低下した。
  論文  参考訳（メタデータ） (2023-06-12T11:55:33Z)
• Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention [36.90363317158731]
  最小限のコストで適応的なスパーストークンプルーニングフレームワークを提案する。 提案手法では,DeiT-Sのスループットを50%向上し,トップ1の精度は0.2%低下した。
  論文  参考訳（メタデータ） (2022-09-28T03:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。