論文の概要: Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods

• arxiv url: http://arxiv.org/abs/2510.07143v1
• Date: Wed, 08 Oct 2025 15:44:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.601057
• Title: Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods
• Title（参考訳）: 正しいベンチマークを使うか:ビジュアルトーケン圧縮手法の評価フレームワーク
• Authors: Chenfei Liao, Wensong Wang, Zichen Wen, Xu Zheng, Yiyu Wang, Haocong He, Yuanhuiyi Lyu, Lutao Jiang, Xin Zou, Yuqian Fu, Bin Ren, Linfeng Zhang, Xuming Hu,
• Abstract要約: 単純な画像ダウンサンプリングは、複数の広く使用されているベンチマークにおいて、多くの高度な圧縮方法より一貫して優れていることを示す。 これらの結果に触発され,既存のベンチマークを識別するデータフィルタリング機構を組み込んだ評価フレームワークであるVTC-Benchを導入する。
• 参考スコア（独自算出の注目度）: 54.4711434793961
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent endeavors to accelerate inference in Multimodal Large Language Models (MLLMs) have primarily focused on visual token compression. The effectiveness of these methods is typically assessed by measuring the accuracy drop on established benchmarks, comparing model performance before and after compression. However, these benchmarks are originally designed to assess the perception and reasoning capabilities of MLLMs, rather than to evaluate compression techniques. As a result, directly applying them to visual token compression introduces a task mismatch. Strikingly, our investigation reveals that simple image downsampling consistently outperforms many advanced compression methods across multiple widely used benchmarks. Through extensive experiments, we make the following observations: (i) Current benchmarks are noisy for the visual token compression task. (ii) Down-sampling is able to serve as a data filter to evaluate the difficulty of samples in the visual token compression task. Motivated by these findings, we introduce VTC-Bench, an evaluation framework that incorporates a data filtering mechanism to denoise existing benchmarks, thereby enabling fairer and more accurate assessment of visual token compression methods. All data and code are available at https://github.com/Chenfei-Liao/VTC-Bench.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)における推論を高速化するための最近の取り組みは、主に視覚的トークン圧縮に焦点を当てている。 これらの手法の有効性は、確立されたベンチマークの精度低下を測定し、圧縮前後のモデル性能を比較して評価するのが一般的である。 しかし、これらのベンチマークは元々、圧縮技術を評価するのではなく、MLLMの知覚と推論能力を評価するために設計されている。 結果として、それらをビジュアルトークン圧縮に直接適用すると、タスクミスマッチが発生する。 興味深いことに、我々の調査では、単純なイメージダウンサンプリングが、複数の広く使用されているベンチマークにおいて、多くの高度な圧縮方法より一貫して優れていることが判明した。 広範な実験を通して、以下の観察を行う。 (i)現在のベンチマークは、ビジュアルトークン圧縮タスクにうるさい。 (II)ダウンサンプリングは、ビジュアルトークン圧縮タスクにおけるサンプルの難易度を評価するためのデータフィルタとして機能する。 VTC-Benchは,既存のベンチマークを識別するためのデータフィルタリング機構を組み込んだ評価フレームワークで,より公平かつ正確なビジュアルトークン圧縮手法の評価を可能にする。 すべてのデータとコードはhttps://github.com/Chenfei-Liao/VTC-Bench.comで入手できる。

関連論文リスト

• Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
  我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。 本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。 クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。 これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
  論文  参考訳（メタデータ） (2026-02-12T18:15:08Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• CoRECT: A Framework for Evaluating Embedding Compression Techniques at Scale [0.0]
  CoRECTは埋め込み圧縮手法の大規模評価のためのフレームワークである。 非学習圧縮は,最大100万パスにおいても,インデックスサイズを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2025-10-22T08:03:31Z)
• Rethinking Large-scale Dataset Compression: Shifting Focus From Labels to Images [60.42768987736088]
  蒸留と刈り取りの両文献の方法論を公平に評価するベンチマークを導入する。 我々のベンチマークでは、大規模データセットの主流データセット蒸留設定において、ランダムに選択されたサブセットでさえ驚くほどの競争性能を達成できることが示されている。 我々は、画像データのみを活用することに焦点を当てた、Prune, Combine, Augment(PCA)と呼ばれるデータセット圧縮のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-10T13:11:40Z)
• Perception Compressor: A Training-Free Prompt Compression Framework in Long Context Scenarios [17.720102137585503]
  Perceptionは、大規模な言語モデルのためのトレーニングフリーのプロンプト圧縮フレームワークである。 これには、指導的質問と指示を利用して、最も関連するデモンストレーションを検索する知覚検索機能が含まれる。 長いコンテキスト、ベンチマーク、iSie、LongBench、MuSiQueに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-09-28T07:13:33Z)
• Compress and Compare: Interactively Evaluating Efficiency and Behavior Across ML Model Compression Experiments [20.360936113552597]
  デバイス上で機械学習モデルをデプロイするには、圧縮アルゴリズムを使用して、高品質なアウトプットを維持しながらモデルを縮小および高速化する。 既存の圧縮ツールは比較を不十分にサポートし、退屈な結果となり、時には不完全な解析が非結合ツールに分散する。 実世界の比較を支援するために,Compress and Compareという対話型ビジュアルシステムを開発した。 コンプレックスとコンプレックスは、圧縮されたモデル間の前兆関係を可視化し、モデルの予測、重み、アクティベーションを比較することで圧縮誘起の挙動変化を明らかにすることで、圧縮戦略を約束する。
  論文  参考訳（メタデータ） (2024-08-06T16:17:51Z)
• Ranking LLMs by compression [13.801767671391604]
  圧縮の先駆けとして5つの大きな言語モデルを使用し、課題のある自然言語処理タスクのパフォーマンスを比較します。 実験の結果,圧縮比とモデル性能は正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-20T10:23:38Z)
• The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
  大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。 パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
  論文  参考訳（メタデータ） (2023-12-01T22:27:12Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。