論文の概要: CoViST: Visual Token Compression via Composable States

• arxiv url: http://arxiv.org/abs/2609.33397v1
• Date: Sun, 27 Sep 2026 09:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:23:26.819611
• Title: CoViST: Visual Token Compression via Composable States
• Title（参考訳）: CoViST:Composable Statesによるビジュアルトークン圧縮
• Abstract要約: 視覚トークン圧縮は、少ないトークンで画像を表現することで、視覚モデルの推論コストを下げる。 既存のほとんどの方法は、視覚的トークンを縮小された集合に圧縮し、それぞれのトークンで表される視覚的証拠の量を暗黙的に残している。 圧縮された画像を構成可能な視覚状態として表現する訓練不要のフレームワークであるCoViSTを提案する。
• 参考スコア（独自算出の注目度）: 91.81026074575016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual token compression lowers the inference cost of vision--language models by representing images with fewer tokens. However, most existing methods compress visual tokens to a reduced set, leaving the amount of visual evidence represented by each token and its original spatial context implicit. Therefore, the compressed representation does not explicitly encode how much visual information each representative carries or where it lies in the original image. This limitation arises even after a single reduction and becomes more pronounced when compression is repeated across decoder layers. To address this issue, we propose CoViST, a training-free framework that represents a compressed image as a composable visual state. Specifically, the state combines representative features with original positions, effective contribution weights, and reusable selection metadata. CoViST constructs this state through coverage-guided selection and conservation-based contribution composition, and explicitly incorporates its contribution and positional information into decoder attention. Each component of the state retains its interpretation under successive reductions, enabling the same formulation to support both fixed compression before prefill and progressive compression within the decoder. Experimental results on seven LLaVA-1.5-7B benchmarks show that CoViST-Fixed retains 99.9\%, 99.5\%, and 98.1\% of uncompressed performance at 192, 128, and 64 tokens, respectively, and CoViST-Pro retains 99.8\%, 99.9\%, and 99.1\% at the corresponding layer-average budgets, outperforming state-of-the-art methods under their respective budget settings. Code will be released publicly.
• Abstract（参考訳）: 視覚トークン圧縮は、少ないトークンで画像を表現することで、視覚モデルの推論コストを下げる。 しかし、既存のほとんどの手法は、視覚的トークンを縮小された集合に圧縮し、各トークンで表される視覚的証拠の量とその元の空間的文脈を暗黙的に残している。 したがって、圧縮された表現は、各代表者がどれだけの視覚情報を持てるか、あるいは原画像のどこにあるかを明確にエンコードしない。 この制限は1つの削減後も発生し、デコーダ層間で圧縮が繰り返されるとより顕著になる。 この問題に対処するために,圧縮された画像を構成可能な視覚状態として表現するトレーニング不要のフレームワークであるCoViSTを提案する。 具体的には、代表的特徴と元の位置、効果的な貢献重み、再利用可能な選択メタデータを組み合わせる。 CoViSTは、カバレッジ誘導の選択と保存に基づくコントリビューション合成を通じてこの状態を構築し、そのコントリビューションと位置情報をデコーダの注意に明示的に組み込む。 状態の各コンポーネントは、連続的なリダクションの下で解釈を保持し、同じ定式化がプリフィル前の固定圧縮とデコーダ内のプログレッシブ圧縮の両方をサポートする。 7つのLLaVA-1.5-7Bベンチマークの実験結果によると、CoViST-Fixedは99.9\%、99.5\%、98.1\%、192,18,64トークンで、CoViST-Proは99.8\%、99.9\%、99.1\%、99.1\%をそれぞれの予算設定で保持し、最先端の手法よりも優れていた。 コードは公開されます。

関連論文リスト

• VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression [52.23010472235226]
  視覚言語モデル(VLM)は大量の視覚トークンを処理し、かなりの推論とオーバーヘッドレイテンシをもたらす。 本稿では,VLM自体を固有圧縮機として再利用する,トレーニング効率のよい自己圧縮フレームワークであるVisCoを提案する。
  論文  参考訳（メタデータ） (2026-07-14T13:21:36Z)
• CORE: Compact Object-centric REpresentations as a New Paradigm for Token Merging in LVLMs [29.08277140543501]
  視覚的トークン圧縮のための新しいパラダイムであるCORE(Compact Object-centric Representation)を紹介する。 COREは効率的なセグメンテーションデコーダを利用してオブジェクトマスクを生成する。 実験により、COREは固定レート圧縮のための6つの信頼性ベンチマークに対して新しい最先端のベンチマークを確立するだけでなく、適応レート設定において劇的な効率向上を達成することが示された。
  論文  参考訳（メタデータ） (2025-11-18T03:02:23Z)
• Embedding Compression Distortion in Video Coding for Machines [67.97469042910855]
  現在、ビデオ伝送は人間の視覚システム(HVS)だけでなく、分析のための機械認識にも役立っている。 本稿では,機械知覚関連歪み表現を抽出し,下流モデルに埋め込む圧縮歪埋め込み(CDRE)フレームワークを提案する。 我々のフレームワークは,実行時間,パラメータ数といったオーバーヘッドを最小限に抑えて,既存のコーデックのレートタスク性能を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2025-03-27T13:01:53Z)
• End-to-End Semantic Preservation in Text-Aware Image Compression Systems [42.76781276416154]
  光文字認識(OCR)のためのテキスト固有の特徴を保持するエンドツーエンド圧縮フレームワークを提案する。 実験では、低速度でのテキスト抽出精度が大幅に向上し、圧縮されていない画像ではOCRよりも優れていた。 我々はこの研究を汎用エンコーダに拡張し、極端圧縮下で隠れセマンティクスを保存する能力を探究する。
  論文  参考訳（メタデータ） (2025-03-25T09:36:13Z)
• Hierarchical Semantic Compression for Consistent Image Semantic Restoration [62.97519327310638]
  生成モデルから固有意味空間内で純粋に機能する新しい階層意味圧縮(HSC)フレームワークを提案する。 実験の結果,提案したHSCフレームワークは人間の視力に対する主観的品質と一貫性に関する最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-02-24T03:20:44Z)
• PVC: Progressive Visual Token Compression for Unified Image and Video Processing in Large Vision-Language Models [64.9366388601049]
  ビジュアルトークン圧縮は、視覚入力の相当なトークン長を減らすために利用される。 我々は,プログレッシブ・ビジュアル・トークン圧縮と呼ばれる統一的なトークン圧縮戦略を導入する。 本モデルは,様々なビデオ理解ベンチマークにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-12T18:59:40Z)
• Extreme Image Compression using Fine-tuned VQGANs [43.43014096929809]
  本稿ではベクトル量子化(VQ)に基づく生成モデルを画像圧縮領域に導入する。 VQGANモデルによって学習されたコードブックは、強い表現能力をもたらす。 提案したフレームワークは、知覚的品質指向のメトリクスで最先端のコーデックより優れている。
  論文  参考訳（メタデータ） (2023-07-17T06:14:19Z)
• Discernible Image Compression [124.08063151879173]
  本稿では、外観と知覚の整合性の両方を追求し、圧縮画像を作成することを目的とする。 エンコーダ・デコーダ・フレームワークに基づいて,事前学習したCNNを用いて,オリジナル画像と圧縮画像の特徴を抽出する。 ベンチマーク実験により,提案手法を用いて圧縮した画像は,その後の視覚認識・検出モデルでもよく認識できることが示された。
  論文  参考訳（メタデータ） (2020-02-17T07:35:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。