論文の概要: RI-Prune: Relation and Information Aware Visual Token Pruning for Multi-Image Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.06047v1
- Date: Wed, 04 Nov 2026 06:50:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.004042
- Title: RI-Prune: Relation and Information Aware Visual Token Pruning for Multi-Image Vision-Language Models
- Title(参考訳): RI-Prune:マルチイメージビジョンランゲージモデルのための視覚的トーケンプルーニングの関連性と情報認識
- Abstract要約: マルチイメージ・ビジュアル・トークン・プルーニングのためのリレーショナル・アンド・インフォメーション・プルーニング(RI-Prune)を提案する。
RI-Pruneは、プロジェクタ出力から計算された3つの信号のz正規化の組み合わせを使用して、各視覚トークンをスコアする。
画像ごとのバランスの取れたTop-K選択を実行し、入力画像間で情報を保存する。
- 参考スコア(独自算出の注目度): 22.716840221954445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large vision-language models (LVLMs) have recently been extended to handle multiple input images, but this extension dramatically increases the visual token budget, making visual-token pruning not merely an efficiency option but a practical necessity. Existing visual-token pruning methods, primarily designed for the single-image setting, rely on attention-derived saliency signals to estimate per-token importance. However, this attention-centric design transfers poorly to the multi-image regime: it causes substantial performance degradation on multi-image benchmarks, suffers from strong positional bias, and loses discriminative attention signals as the number of input images increases. To test whether attention-selected tokens are truly important for multi-image reasoning, we conduct two complementary causal probes Leave-One-In and Leave-One-Deletion, which measure token importance by restoring individual tokens to a zeroed visual sequence or removing them from the full sequence. Attention-based pruners provide only marginal gains over random selection, showing that attention is a weak proxy for visual-token importance in multi-image reasoning. Motivated by this gap, we propose Relation and Information Aware Pruning (RI-Prune), a training-free, attention-free pre-decoder selector for multi-image visual token pruning. RI-Prune scores each visual token using a z-normalized combination of three signals computed from projector outputs: query relevance, cross-image correspondence with compact per-image prototypes, and intra image representativeness. By integrating these signals, RI-Prune performs balanced per-image Top-K selection to preserve information across input images. Across multiple multi-image benchmarks and three LVLM backbones, RI-Prune achieves a stronger trade-off between token reduction and task performance than prior pruning methods, particularly under aggressive token budgets.
- Abstract(参考訳): 大規模視覚言語モデル(LVLM)は、最近、複数の入力画像を扱うように拡張されているが、この拡張により、視覚トークンの予算が劇的に増加し、視覚トークンのプルーニングは、単に効率性だけでなく、実用的な必要性がある。
既存の視覚的トーケンプルーニング法は、主に単一イメージの設定のために設計されており、注意から導かれるサリエンシ信号に頼って、トーケンの重要性を見積もっている。
しかし、この注目中心の設計は、マルチイメージの基準ではかなりの性能低下を招き、強い位置バイアスに悩まされ、入力画像の数が増加するにつれて識別的注意信号を失うという、マルチイメージの仕組みに乏しい。
注意選択されたトークンが、マルチイメージ推論において本当に重要であるかどうかを確認するために、各トークンをゼロの視覚的シーケンスに復元したり、全シーケンスから削除したりすることで、トークンの重要度を測定する2つの補足因果プローブ(Leave-One-InとLeave-One-Deletion)を実行する。
注意に基づくプルーナーは、ランダム選択よりも限界的な利得しか提供せず、マルチイメージ推論における視覚的重要性の弱いプロキシであることを示す。
このギャップに乗じて,マルチイメージ・ビジュアル・トークン・プルーニングのためのトレーニング不要で注意のないプレデコーダセレクタであるRelation and Information Aware Pruning (RI-Prune)を提案する。
RI-Pruneは、プロジェクタ出力から計算された3つの信号(クエリ関連性、コンパクトな画像単位のプロトタイプとのクロスイメージ対応、画像内代表性)のz正規化の組み合わせを使用して、各視覚トークンをスコアする。
これらの信号を統合することで、RI-Pruneは画像ごとのバランスの取れたTop-K選択を行い、入力画像間で情報を保存する。
複数のマルチイメージベンチマークと3つのLVLMバックボーンを通じて、RI-Pruneは、特に積極的なトークン予算の下で、前処理方法よりもトークン削減とタスクパフォーマンスのトレードオフを強く達成している。
関連論文リスト
- Visual Tokens on Demand: Visual Budgeting for Scalable and Efficient Multi-Image Reasoning in Multimodal LLMs [2.263249521093313]
マルチイメージ推論は、各画像が多くの視覚トークンを追加し、エンコーディングとアテンション要求が増加するため、コストがかかる。
我々は、クロスイメージコンテキストを介してクエリ条件付きトークン単位の予算を割り当てる軽量なプラグイン・アンド・プレイモジュールであるmmVBを提案する。
この減少は、フルレゾリューション精度の94.4%を維持しながら、5倍のタイム・ツー・ファースト・トケンと7倍のプリフィルFLOPが得られる。
論文 参考訳(メタデータ) (2026-10-13T17:59:24Z) - ACPruner: Visual Token Pruning as Biased Attention Coverage Maximization in LVLMs [61.39113360313417]
ACPrunerは、効率的なLVLM推論のためのトレーニング不要なビジュアルトークンプルーニングフレームワークである。
ACPrunerは、エンド・ツー・エンドの推論スピードアップを実現しながら、パフォーマンスを継続的に維持する。
論文 参考訳(メタデータ) (2026-09-28T08:14:55Z) - Accelerating Multimodal Large Language Models with Prior-Corrected Token Reduction [42.23525789989544]
MLLM(Multimodal Large Language Models)において、しばしば注意がモデルによって引き起こされる。
我々は,タスク条件付き注意をモデル誘発前と区別するために,事前補正トークン削減(PriorTR)を提案する。
PriorTRは、強いトレーニングのないベースラインよりも精度と効率のトレードオフを一貫して改善する。
論文 参考訳(メタデータ) (2026-06-23T05:24:50Z) - ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。
本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。
これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
論文 参考訳(メタデータ) (2025-10-20T06:18:47Z) - PoRe: Position-Reweighted Visual Token Pruning for Vision Language Models [12.189644988996022]
本稿では,視覚的トークンプルーニングにおける遅延バイアスを軽減するための,極めて単純かつ効果的なアプローチを提案する。
画像内の空間的位置に応じて視覚的トークンの注意点を調節する簡単なリウェイト機構を提案する。
提案手法は,既存のビジュアルトークンプルーニングフレームワークにシームレスに組み込むことができるプラグイン・アンド・プレイソリューションである。
論文 参考訳(メタデータ) (2025-08-25T08:56:32Z) - ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。
トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-05-24T15:47:49Z) - Prioritizing Image-Related Tokens Enhances Vision-Language Pre-Training [78.60953331455565]
PRIORは、NTP損失の差分重み付けによって画像関連トークンを優先する、視覚言語による事前学習手法である。
NTPと比較した場合, 平均相対的改善率は19%, 8%であった。
論文 参考訳(メタデータ) (2025-05-13T21:27:52Z) - Efficient LLaMA-3.2-Vision by Trimming Cross-attended Visual Features [24.33252753245426]
我々は、相互注意マップにおけるスパースの性質を利用して、冗長な視覚的特徴を選択的に創り出す。
我々のモデルは、ベンチマークパリティを達成しながら、推論レイテンシとメモリ使用量を減らすことができる。
論文 参考訳(メタデータ) (2025-04-01T09:10:32Z) - Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。
推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。
高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
論文 参考訳(メタデータ) (2024-11-05T18:54:21Z) - Reconstructive Visual Instruction Tuning [64.91373889600136]
リコンストラクティブ・ビジュアル・インストラクション・チューニング(ROSS)は、視覚中心の監視信号を利用する大型マルチモーダル・モデル(LMM)のファミリーである。
入力画像の潜在表現を再構成し、正確なRGB値を直接回帰するのを避ける。
経験的に、ROSSは、異なるビジュアルエンコーダと言語モデルに対して、一貫して大幅に改善されている。
論文 参考訳(メタデータ) (2024-10-12T15:54:29Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳(メタデータ) (2023-07-04T02:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。