論文の概要: LLaVA-UHD v4: What Makes Efficient Visual Encoding in MLLMs?
- arxiv url: http://arxiv.org/abs/2605.08985v1
- Date: Sat, 09 May 2026 15:10:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.00607
- Title: LLaVA-UHD v4: What Makes Efficient Visual Encoding in MLLMs?
- Title（参考訳）: LLaVA-UHD v4: MLLMの効率的なビジュアルエンコーディングとは?
- Abstract要約: LLaVA-UHD v4は,高解像度入力に適した,効率的かつ計算制御可能な視覚符号化方式である。
その結果、下流の性能を犠牲にすることなく、視覚符号化効率を大幅に改善できる可能性が示唆された。
- 参考スコア（独自算出の注目度）: 7.06721685645839
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual encoding constitutes a major computational bottleneck in Multimodal Large Language Models (MLLMs), especially for high-resolution image inputs. The prevailing practice typically adopts global encoding followed by post-ViT compression. Global encoding produces massive token sequences, while post-ViT compression incurs the full quadratic attention cost of the ViT before any token reduction takes place. In this work, we revisit this convention along two dimensions: the encoding strategy and visual token compression. First, controlled experiments show that slice-based encoding outperforms global encoding across benchmarks, suggesting that preserving local details through sliced views can be more beneficial than applying global attention for fine-grained perception. Second, we introduce intra-ViT early compression, which reduces tokens in shallow ViT layers and substantially lowers visual-encoding FLOPs while preserving downstream performance. By integrating intra-ViT compression into the slice-based encoding framework, we present LLaVA-UHD v4, an efficient and compute-controllable visual encoding scheme tailored for high-resolution inputs. Across a diverse set of benchmarks covering document understanding, OCR, and general VQA, LLaVA-UHD v4 reduces visual-encoding FLOPs by 55.8% while matching or even surpassing baseline performance. These results suggest that visual-encoding efficiency can be substantially improved without sacrificing downstream performance, providing a practical design direction for efficient high-resolution MLLMs. All model weights and code will be publicly released to support further research.
- Abstract（参考訳）: ビジュアルエンコーディングは、特に高解像度画像入力において、MLLM(Multimodal Large Language Models)において大きな計算ボトルネックとなっている。
一般的な慣行は、一般的にグローバルエンコーディングを採用し、その後にポストViT圧縮が続く。
グローバルエンコーディングは大量のトークンシーケンスを生成する一方、ポストViT圧縮はトークンの縮小が起こる前にViTの2次アテンションコストを発生させる。
本研究では、符号化戦略と視覚トークン圧縮という2つの側面に沿って、この規約を再考する。
まず、制御された実験により、スライスベースの符号化は、ベンチマーク全体でグローバルなエンコーディングよりも優れており、スライスされたビューを通して局所的な詳細を保存することは、微粒な知覚にグローバルな注意を向けることよりも有益であることが示された。
第2に、浅いViT層のトークンを削減し、下流性能を維持しながら視覚符号化FLOPを大幅に低減する、ViT内早期圧縮を導入する。
ビット内圧縮をスライスベース符号化フレームワークに統合することにより、高解像度入力に適した効率的かつ計算制御可能な視覚符号化方式であるLLaVA-UHD v4を提案する。
文書理解、OCR、一般的なVQAを対象とする様々なベンチマークの他、LLaVA-UHD v4では、FLOPを55.8%削減し、ベースラインのパフォーマンスをマッチさせたり超えたりしている。
これらの結果から,下流性能を犠牲にすることなく,視覚符号化効率を大幅に向上できる可能性が示唆された。
すべてのモデルウェイトとコードは、さらなる研究をサポートするために公開されます。
関連論文リスト
- PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference [15.233755808671871]
既存の視覚トークンプルーニング法には2つの基本的な制限がある。
ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。
視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
論文 参考訳（メタデータ） (2026-08-27T14:52:09Z) - VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression [52.23010472235226]
視覚言語モデル(VLM)は大量の視覚トークンを処理し、かなりの推論とオーバーヘッドレイテンシをもたらす。
本稿では,VLM自体を固有圧縮機として再利用する,トレーニング効率のよい自己圧縮フレームワークであるVisCoを提案する。
論文 参考訳（メタデータ） (2026-07-14T13:21:36Z) - VidLaDA: Bidirectional Diffusion Large Language Models for Efficient Video Understanding [52.69880888587866]
現在のビデオ大言語モデル(ビデオLLM)は、典型的にはエンコーダビジョンを介してフレームを符号化し、自己回帰(AR)LLMを使用して理解と生成を行う。
本稿では,言語モデル(DLM)に基づく拡散ビデオLLMであるVidLaDAを提案する。
実験によると、VidLaDAは最先端のARベースラインと競合し、DLMベースラインを上回り、MARS-Cacheは精度を損なうことなく12倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2026-01-25T15:02:01Z) - Accelerating Streaming Video Large Language Models via Hierarchical Token Compression [12.247532124314402]
Streaming Video Large Language Models (VideoLLMs)は、様々なビデオ理解タスクで素晴らしいパフォーマンスを誇示している。
連続したビデオストリームから高密度のビジュアルトークンを処理する計算コストが高いため、リアルタイムデプロイメントにおいて大きな課題に直面している。
textbfStreaming textbfToken textbfCompression (textbfSTC)を提案する。
論文 参考訳（メタデータ） (2025-11-30T13:44:28Z) - LLaVA-UHD v3: Progressive Visual Compression for Efficient Native-Resolution Encoding in MLLMs [52.24096832965001]
提案するプログレッシブ・ビジュアル・圧縮(PVC)法を中心としたMLLMであるLLaVA-UHD v3を提案する。
PVC法は、視覚変換器(ViT)にシームレスに統合して、効率的なネイティブ解像度符号化を可能にする。
ViT-UHDをベースとしたLLaVA-UHD v3はQwen2-VLとの競合性能も達成し、TTFTを1.9倍削減した。
論文 参考訳（メタデータ） (2025-11-26T08:11:10Z) - VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
VScanは2段階のビジュアルトークン削減フレームワークである。
1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。
VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
論文 参考訳（メタデータ） (2025-05-28T17:59:08Z) - VASparse: Towards Efficient Visual Hallucination Mitigation via Visual-Aware Token Sparsification [44.97217246897902]
LVLM(Large Vision-Language Models)は、視覚幻覚(VH)としても知られる、現実に忠実でない出力を生成する。
Visual-Aware Sparsification (VASparse) を用いた効率的なプラグアンドプレイデコーディングアルゴリズムを提案する。
VHを緩和し、競争力のある復号速度を維持しながら、VASparseは最先端の性能を達成する。
論文 参考訳（メタデータ） (2025-01-11T14:09:34Z) - Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。
推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。
高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
論文 参考訳（メタデータ） (2024-11-05T18:54:21Z) - Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。
このようなモデルのスケーリングには効率性が優先されるため、最先端のMask2Formerでは、変換器エンコーダのみに計算の50%を使用しています。
これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。
論文 参考訳（メタデータ） (2024-04-23T01:34:20Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T03:04:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。