論文の概要: Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline

• arxiv url: http://arxiv.org/abs/2609.35394v1
• Date: Mon, 28 Sep 2026 15:21:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:56:27.236209
• Title: Rethinking Visual Token Compression for Video Large Language Models: A Simple Yet Strong Baseline
• Title（参考訳）: ビデオ大言語モデルのためのビジュアルトーケン圧縮の再考:シンプルだが強力なベースライン
• Abstract要約: 視覚表現に符号化された構造を単純に保存することで,圧縮性能をどの程度向上させることができるかを検討する。 私たちはSimpleClusterを使って、視覚的特徴空間における位置対応のクロスフレームクラスタリングを実行しています。 実験の結果、SimpleClusterは最近の圧縮手法よりも競争力や優れた性能を発揮することがわかった。
• 参考スコア（独自算出の注目度）: 27.715058333490447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video Large Language Models (Video LLMs) have achieved remarkable progress in video understanding, but their inference efficiency is constrained by the large number of visual tokens produced by long videos. Recent video token compression methods increasingly introduce sophisticated strategies for token selection, pruning, and merging. This raises a fundamental question: how much of compression performance can be obtained by simply preserving the structure encoded in the visual representations? We investigate this question with SimpleCluster, a simple and training-free baseline that performs position-aware cross-frame clustering in the visual feature space and represents each cluster using the mean of its original visual features. Extensive experiments across four video understanding benchmarks and three representative Video LLMs show that SimpleCluster achieves competitive or superior performance over recent compression methods across a wide range of token retention ratios, with particularly strong robustness under extremely low retention rates (e.g., 1%). To understand this behavior, we analyze the feature space preserved by different compression methods in terms of local approximation fidelity and global coverage. The results show that stronger downstream performance is consistently associated with better preservation of the original visual feature distribution, especially its global coverage. These findings highlight feature-space preservation as an important consideration for video token compression under highly constrained token budgets. Our code is available at https://github.com/xiaozhang79/SimpleCluster.
• Abstract（参考訳）: ビデオ大言語モデル (Video Large Language Models, ビデオLLM) は, ビデオ理解において顕著な進歩を遂げている。 最近のビデオトークン圧縮手法では、トークンの選択、プルーニング、マージのための高度な戦略が導入されている。 視覚表現にエンコードされた構造を単に保存することで、どれだけの圧縮性能が得られるのか? 視覚的特徴空間における位置認識型クロスフレームクラスタリングを実行する,シンプルでトレーニング不要なベースラインであるSimpleClusterを用いて,この問題を調査し,元の視覚的特徴の平均値を用いて各クラスタを表現する。 4つのビデオ理解ベンチマークと3つの代表的なビデオLLMによる大規模な実験により、SimpleClusterは、トークン保持率の広い範囲にわたる最近の圧縮手法よりも、競争力や優れたパフォーマンスを実現している。 この振る舞いを理解するために、局所近似の忠実度とグローバルカバレッジの観点から、異なる圧縮法で保存される特徴空間を解析する。 その結果, 下流部の性能は, 元の視覚的特徴分布, 特にグローバルな範囲の保存性の向上と一貫して関連していることがわかった。 これらの知見は,高度に制約されたトークン予算下でのビデオトークン圧縮において,特徴空間の保存が重要な考慮事項であることを示している。 私たちのコードはhttps://github.com/xiaozhang79/SimpleCluster.comから入手可能です。

関連論文リスト

• Aggregating Visual Information with Optimal Transport for VideoLM Token Compression [55.867497983465476]
  ビデオ言語モデルは、ビデオを表現の冗長性に富んだ濃密な視覚的なシーケンスとして処理する。 これらのシーケンスは、言語モデルデコーディングにおける視覚的負担を軽減するために不可欠である。 AVIOT(Aggregating Visual Information with Optimal Transport)を導入し,フレーム観測の高密度な経験的指標としてビデオトークン圧縮を論じる。
  論文  参考訳（メタデータ） (2026-08-20T18:05:42Z)
• VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression [52.23010472235226]
  視覚言語モデル(VLM)は大量の視覚トークンを処理し、かなりの推論とオーバーヘッドレイテンシをもたらす。 本稿では,VLM自体を固有圧縮機として再利用する,トレーニング効率のよい自己圧縮フレームワークであるVisCoを提案する。
  論文  参考訳（メタデータ） (2026-07-14T13:21:36Z)
• One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding [51.08792182064565]
  長いビデオ理解は、膨大なフレーム数のため、視覚言語モデル(VLM)にとって本質的に困難である。 通常、ビデオフレームは数十から数百のトークンに拡張されるため、大きな言語モデル(LLM)のコンテキスト長は制限され、VLMはフレームをわずかに知覚し、時間的情報を失う。 本稿では,XComp という長大なビデオ理解のための極端な圧縮モデルを提案する。
  論文  参考訳（メタデータ） (2026-04-15T17:59:52Z)
• KiToke: Kernel-based Interval-aware Token Compression for Video Large Language Models [12.489375650998554]
  KiTokeは、トレーニング不要でクエリに依存しないトークン圧縮アプローチである。 カーネルベースの測度を用いて,トークンの多様性を世界規模で推定する。 実験の結果, KiToke は既存のトレーニング不要圧縮法よりも優れていた。
  論文  参考訳（メタデータ） (2026-04-03T19:18:22Z)
• Unified Spatiotemporal Token Compression for Video-LLMs at Ultra-Low Retention [23.015486635502437]
  ビデオ言語モデル(ビデオ-LLM)は、大量の視覚トークンのために高い計算コストに直面している。 グローバルな選択トークンに意味的類似性を重み付けする統一選択機構を提案する。 選択されていないトークンはクラスタリングとリフィルによってマージされ、情報の整合性を保持する。 我々の統合的時間トークン圧縮戦略は,超低トークン保持下での映像理解における最先端技術を確立する。
  論文  参考訳（メタデータ） (2026-03-23T13:15:22Z)
• FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding [55.700832127331324]
  FLoCは、施設位置関数に基づく効率的なビジュアルトークン圧縮フレームワークである。 本手法は,トークンのコンパクトな部分集合を迅速に選択することにより,顕著な効率向上を実現する。 私たちのアプローチは、トレーニング不要、モデル非依存、クエリ非依存で、汎用的なソリューションを提供しています。
  論文  参考訳（メタデータ） (2025-10-31T17:29:39Z)
• LLaVA-Scissor: Token Compression with Semantic Connected Components for Video LLMs [23.801172170798132]
  LLaVA-Scissorは、マルチモーダルな大規模言語モデルのために設計された、トレーニング不要なトークン圧縮戦略である。 本稿では,セマンティック・コネクテッド・コンポーネント(SCC)のアプローチを活用し,包括的セマンティック・カバレッジを確保することを提案する。 我々は,LLaVA-Scissorのトークン圧縮性能を多様なビデオ理解ベンチマークで広範囲に評価する。
  論文  参考訳（メタデータ） (2025-06-27T02:29:58Z)
• Global Compression Commander: Plug-and-Play Inference Acceleration for High-Resolution Large Vision-Language Models [21.36437021964681]
  Global Compression Commander"はHR-LVLM用の新しいトークン圧縮フレームワークである。 GlobalCom$2$は90%以上のパフォーマンスを維持し、90%のビジュアルトークンを圧縮し、FLOPとピークメモリを9.1%と60%に削減している。
  論文  参考訳（メタデータ） (2025-01-09T11:57:58Z)
• PVC: Progressive Visual Token Compression for Unified Image and Video Processing in Large Vision-Language Models [64.9366388601049]
  ビジュアルトークン圧縮は、視覚入力の相当なトークン長を減らすために利用される。 我々は,プログレッシブ・ビジュアル・トークン圧縮と呼ばれる統一的なトークン圧縮戦略を導入する。 本モデルは,様々なビデオ理解ベンチマークにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-12T18:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。