論文の概要: SIEVE: Preserving Cross-Image Evidence via Depth-Aware Token Compression

• arxiv url: http://arxiv.org/abs/2611.00351v1
• Date: Fri, 30 Oct 2026 20:32:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:32:13.972974
• Title: SIEVE: Preserving Cross-Image Evidence via Depth-Aware Token Compression
• Title（参考訳）: SIEVE:深度を意識したトーケン圧縮による画像間のエビデンス保存
• Abstract要約: VLM(Multi-image Vision-Language Model)は、長い視覚的シーケンスを処理する際に相当な計算を行う。 SIEVEは、画像とデコーダの深さで視覚トークンを共同で割り当てる、トレーニング不要でシングルパスのフレームワークである。
• 参考スコア（独自算出の注目度）: 8.86249694671019
• License:
• Abstract: Multi-image vision-language models (VLMs) incur substantial computation when processing long visual sequences. Compressing these sequences must preserve complementary evidence across images and keep tokens from different images separate. Global selection can underrepresent question-relevant images, and pruning in early decoder layers risks removing relevant content before sufficient multimodal processing, yet existing methods spend most of the budget on these early layers. We propose SIEVE, a training-free, single-pass framework that jointly allocates visual tokens across images and decoder depth. SIEVE first pools each image into a compact spatial grid to reduce early processing cost. It then progressively selects representatives using prompt attention under equal per-image quotas and aggregates unselected tokens into similar representatives from the same image. These operations keep every image represented and its tokens separate from other images, while refining the retained representations. A closed-form schedule sets retention counts to target a prescribed average token budget across decoder layers. Across four VLM backbones, SIEVE achieves the highest average at a 6.25% budget on five multi-image benchmarks and four single-image benchmarks, and the highest mean on two video benchmarks. On LLaVA-OneVision-7B, it outperforms the strongest baseline by 9.96 and 9.03 points at 6.25% and 12.5% budgets, and at 12.5% it exceeds the uncompressed model by 2.01 points with 6.6x fewer prefill FLOPs.
• Abstract（参考訳）: VLM(Multi-image Vision-Language Model)は、長い視覚的シーケンスを処理する際に相当な計算を行う。 これらのシーケンスを圧縮するには、画像間で補完的な証拠を保持し、異なる画像からトークンを分離しておく必要がある。 グローバルな選択は、疑問に関連するイメージを過小評価し、初期デコーダ層のプルーニングは、適切なマルチモーダル処理の前に関連コンテンツを削除するリスクを負うが、既存の手法は、これらの初期レイヤに予算の大部分を費やしている。 SIEVEは、画像とデコーダの深さで視覚トークンを共同で割り当てる、トレーニング不要でシングルパスのフレームワークである。 SIEVEはまず各画像をコンパクトな空間グリッドにプールし、初期処理コストを削減した。 次に、画像毎のクォータが等しい場合、即時注意を用いて代表を徐々に選択し、同じ画像から選択されていないトークンを同じ代表に集約する。 これらの操作は、保持された表現を精製しながら、すべての画像とそのトークンを他の画像から切り離して保持する。 クローズドフォームスケジュールは、デコーダ層にまたがる所定の平均トークン予算を目標とする保持数を設定する。 4つのVLMバックボーンの中で、SIEVEは5つのマルチイメージベンチマークと4つのシングルイメージベンチマークで6.25%の予算で最高、そして2つのビデオベンチマークでは最高である。 LLaVA-OneVision-7Bでは、9.96点、9.03点が6.25%、12.5%の予算で最強のベースラインを上回り、12.5%が2.1点のプレフィルFLOPよりも6.6倍少ない。

関連論文リスト

• Visual Tokens on Demand: Visual Budgeting for Scalable and Efficient Multi-Image Reasoning in Multimodal LLMs [2.263249521093313]
  マルチイメージ推論は、各画像が多くの視覚トークンを追加し、エンコーディングとアテンション要求が増加するため、コストがかかる。 我々は、クロスイメージコンテキストを介してクエリ条件付きトークン単位の予算を割り当てる軽量なプラグイン・アンド・プレイモジュールであるmmVBを提案する。 この減少は、フルレゾリューション精度の94.4%を維持しながら、5倍のタイム・ツー・ファースト・トケンと7倍のプリフィルFLOPが得られる。
  論文  参考訳（メタデータ） (2026-10-13T17:59:24Z)
• STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
  大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。 視覚的トークンプルーニングの2つの相補的解析を行う。 視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
  論文  参考訳（メタデータ） (2026-09-05T06:18:28Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation [64.84095852784714]
  Residual Tokenizer (ResTok)は、画像トークンと潜在トークンの両方の階層的残基を構築する1Dビジュアルトークンライザである。 視覚的トークン化における階層的残差の復元はAR画像生成を著しく改善し,ImageNet-256ではわずか9ステップで2.34gFIDを達成した。
  論文  参考訳（メタデータ） (2026-01-07T14:09:18Z)
• Group Critical-token Policy Optimization for Autoregressive Image Generation [32.472222192052044]
  主な障害は、AR生成中によりクリティカルな画像トークンを識別し、それらに対して効果的なトークンワイズ最適化を実装する方法にある。 具体的には、3つの観点からRLVRベースのAR生成における重要なトークンを識別する: $textbf(1)$ CausalDepend: 初期トークンは、一方向依存性による後のトークンと最終的な画像効果を根本的に決定する。 ARモデルと統合マルチモーダルモデルのための複数のテキスト・画像ベンチマーク実験は、その効果を実証する。
  論文  参考訳（メタデータ） (2025-09-26T15:33:18Z)
• HiRED: Attention-Guided Token Dropping for Efficient Inference of High-Resolution Vision-Language Models [10.50453920206006]
  HiREDは固定トークン予算内で運用するために設計されたトークンドロップ方式である。 既存のトークンドロップ方式に比べて精度と性能が優れている。
  論文  参考訳（メタデータ） (2024-08-20T15:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。