論文の概要: CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

• arxiv url: http://arxiv.org/abs/2607.16326v1
• Date: Wed, 15 Jul 2026 13:11:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.113018
• Title: CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference
• Title（参考訳）: CRISP: 効率的なLVLM推論のためのテキスト駆動型ビジュアルトークンのプリLLM
• Abstract要約: CRISPは、大きな視覚言語モデルのためのテキスト駆動型ビジュアルトークンプルーニングフレームワークである。 CRISPはアグレッシブプルーニング比で優れた性能保持を実現する。 最大99.5%の精度を維持し、推論コストとレイテンシを2倍以上に削減する。
• 参考スコア（独自算出の注目度）: 45.37969239457929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (LVLMs) typically require processing hundreds to thousands of visual tokens, leading to substantial inference overhead. Existing visual token pruning methods either operate before the LLM using text-agnostic heuristics or prune inside the LLM at the cost of efficiency and noisy cross-modal attention. To address these limitations, we propose CRISP, a pre-LLM yet text-driven visual token pruning framework that preserves both instruction-relevant evidence and essential scene context. CRISP works in a two-stage pipeline: Stage 1 first identifies text-aligned visual tokens, and Stage 2 enhances contextual completeness through semantic diversity. Extensive experiments on LLaVA-1.5 and LLaVA-NeXT demonstrate that CRISP achieves superior performance retention under aggressive pruning ratios, maintaining up to 99.5% accuracy while reducing inference cost and latency by more than 2 times. CRISP serves as a practical solution for efficient LVLM inference, especially in resource-constrained scenarios.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は通常、数百から数千の視覚トークンを処理する必要がある。 既存の視覚的トークンプルーニング法は、テキストに依存しないヒューリスティックを用いてLCMの前に動作するか、LLM内部のプルーネを効率性とノイズの多いクロスモーダルな注意を払って動作させる。 これらの制約に対処するために,命令関連エビデンスとシーンコンテキストの両方を保存した,LLM以前のテキスト駆動型ビジュアルトークン解析フレームワークであるCRISPを提案する。 CRISPは2段階のパイプラインで動作する。Stage 1はまずテキスト整列されたビジュアルトークンを識別し、Stage 2はセマンティックな多様性を通じてコンテキスト完全性を高める。 LLaVA-1.5とLLaVA-NeXTの大規模な実験により、CRISPはアグレッシブプルーニング比で優れた性能維持を実現し、最大99.5%の精度を維持しながら、推論コストとレイテンシを2倍以上に削減した。 CRISPは、特にリソース制約のあるシナリオにおいて、効率的なLVLM推論のための実用的なソリューションとして機能する。

関連論文リスト

• SignLlama: Enhancing Gloss-free Sign Language Translation by Prioritizing Visual Features for LLMs [24.378058252362646]
  本稿では,Gloss-Free Sign Language TranslationタスクにLarge Language Modelsを適用するために解決しなければならない2つの重要な課題について述べる。 まず,Filted Pseudo-Gloss CTC Pretraining という簡単な手法を提案する。 第2に,テキスト入力がマスクされた視覚のみの予測パスを定義し,視覚入力のみに依存するターゲットシーケンスを生成するためにモデルが必要である。
  論文  参考訳（メタデータ） (2026-08-10T01:47:30Z)
• ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
  ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。 視覚トークンのコンパクトだが情報に富むサブセットを選択する。 これは、計算、メモリ消費、推論遅延を効果的に削減する。
  論文  参考訳（メタデータ） (2026-03-22T07:44:45Z)
• AdaptInfer: Adaptive Token Pruning for Vision-Language Model Inference with Dynamical Text Guidance [7.594255363909475]
  視覚言語モデル(VLM)は、視覚的質問応答(VQA)のような多モーダル推論タスクにおいて印象的な性能を達成した。 プリフィル段階で処理される多数の視覚トークンのために、それらの推論コストは依然として大きな課題である。 既存のプルーニング手法は、しばしばアテンションパターンや静的テキストプロンプトガイダンスを直接使用することに依存し、推論時に発生する動的内部信号の活用に失敗する。 InVLMにおける適応型視覚トークンプルーニングのためのプラグイン・アンド・プレイフレームワークであるAdaptInferを提案する。
  論文  参考訳（メタデータ） (2025-08-08T07:27:26Z)
• ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
  LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
  論文  参考訳（メタデータ） (2025-07-01T16:01:08Z)
• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• Revisit What You See: Disclose Language Prior in Vision Tokens for LVLM Decoding [6.612630497074871]
  LVLM(Large Vision-Language Models)は、視覚認識と言語理解を統合することで、マルチモーダルタスクにおける強力なパフォーマンスを実現する。 テキスト生成のガイドとして視覚トークンを参照するトレーニング不要な復号法であるReVisiTを提案する。
  論文  参考訳（メタデータ） (2025-06-11T08:46:55Z)
• Generic Token Compression in Multimodal Large Language Models from an Explainability Perspective [6.258220461022373]
  既存のMultimodal Large Language Models (MLLM) は多数の視覚トークンを処理し、計算コストと非効率性をもたらす。 トークン圧縮はLLMの入力段階では不可能な性能損失で実現可能であることを示す。 本稿では,第1のLCMレイヤのアテンションマップから説明結果へのマッピングを学習し,完全な推論パスの必要性を回避することを提案する。
  論文  参考訳（メタデータ） (2025-06-01T17:44:16Z)
• Elevating Visual Perception in Multimodal LLMs with Visual Embedding Distillation [109.5893580175657]
  近年,MLLMの開発における標準的な実践は,視覚エンコーダの機能をLLMに供給し,自然言語による指導を施すことである。 このアプローチは、しばしばモデルが言語理解に傾き、データに存在するリッチな視覚知覚信号を損なう。 本稿では,視覚知識をエキスパートビジョンエンコーダからLLMの隠れ表現に注入する最初のアプローチであるVisPer-LMを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)
• Planting a SEED of Vision in Large Language Model [73.17530130368053]
  このSEEDは,大規模言語モデル(LLM)とSEEとDrawを同時に実現する,精巧な画像トークンである。 このバージョンのSEEDは、64のV100 GPUと5Mのパブリックな画像テキストペアを使用して、5.7日間でトレーニングされた。
  論文  参考訳（メタデータ） (2023-07-16T13:41:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。