論文の概要: VLZip: Unified Visual and Textual Compression for Interleaved Long-Context Modeling

• arxiv url: http://arxiv.org/abs/2608.08630v1
• Date: Sun, 09 Aug 2026 10:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.888989
• Title: VLZip: Unified Visual and Textual Compression for Interleaved Long-Context Modeling
• Title（参考訳）: VLZip: インターリーブロングコンテキストモデリングのための統一ビジュアル圧縮とテキスト圧縮
• Abstract要約: VLZipは、純粋なトランスフォーマー内で高忠実性推論のための視覚的およびテキスト的圧縮を統一するフレームワークである。 また、LongVLBenchというビデオナラティブから派生した、全体論的、物語レベルの推論を要求する新しいベンチマークも紹介する。
• 参考スコア（独自算出の注目度）: 81.92510561363197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Language Models (VLMs) face significant challenges with ultra-long, interleaved image-text sequences due to the quadratic complexity of self-attention. Current solutions either resort to aggressive token pruning, risking irreversible information loss, or adopt efficient but less precise architectures, while largely ignoring the equally vital textual component. We introduce VLZip, a framework that unifies visual and textual compression for high-fidelity reasoning within a pure Transformer. At its core, VLZip hierarchically distills visual and textual segments into compact, layer-specific "soft prefixes" and injects them into each decoder layer's hidden states, drastically shortening the attention sequence while preserving fine-grained global context. To address deficient evaluations in the field, we also introduce LongVLBench, a new benchmark derived from video narratives that demands holistic, narrative-level reasoning. Extensive experiments show VLZip achieves leading performance on long-context multimodal reasoning, enabling training up to 120K tokens, a 6x increase over the baseline, and inference beyond 280K tokens with significantly reduced memory, while demonstrating the memory scalability to handle up to 2M tokens. By excelling at extreme context lengths where existing methods collapse, VLZip establishes an efficient and powerful new standard for long-context multimodal AI. Code is available at https://github.com/ShareLab-SII/VLZip.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、自己意図の2次複雑さのために、超長大でインターリーブされた画像テキストシーケンスにおいて重大な課題に直面している。 現在のソリューションでは、アグレッシブなトークンプルーニング、不可逆的な情報損失のリスク、あるいは効率的だが精度の低いアーキテクチャを採用するか、等しく重要なテキストコンポーネントを無視している。 VLZipは、純粋なトランスフォーマー内で高忠実性推論のための視覚的およびテキスト的圧縮を統一するフレームワークである。 中心となるVLZipは、視覚的およびテキスト的セグメントを階層的に、コンパクトで層固有の「ソフトプレフィックス」に蒸留し、それらをデコーダ層の隠れた状態に注入し、微粒なグローバルコンテキストを維持しながら、アテンションシーケンスを劇的に短縮する。 現場での不十分な評価に対処するために、LongVLBenchについても紹介する。 大規模な実験では、VLZipは、最大120Kトークンのトレーニング、ベースライン上の6倍のアップ、メモリを大幅に削減した280Kトークンを越える推論を可能にし、最大2Mトークンを扱うメモリスケーラビリティを実証している。 VLZipは、既存のメソッドが崩壊する極端なコンテキスト長に優れており、長いコンテキストのマルチモーダルAIのための効率的で強力な新しい標準を確立している。 コードはhttps://github.com/ShareLab-SII/VLZipで入手できる。

関連論文リスト

• PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference [15.233755808671871]
  既存の視覚トークンプルーニング法には2つの基本的な制限がある。 ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。 視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
  論文  参考訳（メタデータ） (2026-08-27T14:52:09Z)
• VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference [53.883871460875234]
  VoxZipは、セマンティックアンコールされたKVキャッシュ圧縮フレームワークである。 第1段階では、音声トークンを時間的に調整、圧縮、融合するために明示的なセマンティックアンカーとして自動音声認識(ASR)文字を使用する。 第2段階では、時間的に減衰した蓄積された注意に基づいて動的フィルタリング戦略を採用し、非定常トークンを除去する。
  論文  参考訳（メタデータ） (2026-08-09T08:17:18Z)
• BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection [21.177715869071793]
  既存の圧縮手法は、攻撃的なトークンプルーニングによる訓練コストや意味的な断片化に悩まされることが多い。 線形トークン除去から構造対応階層選択へ圧縮を移行する新しいトレーニングフリーフレームワークBEAVERを提案する。 BEAVERがLongLLMLinguaのような最先端(SOTA)メソッドに匹敵するパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2026-03-20T04:35:04Z)
• Seeing the Forest and the Trees: Query-Aware Tokenizer for Long-Video Multimodal Language Models [24.875526594002434]
  長いビデオ理解シナリオのための視覚トークン選択モジュールであるQTSplusを提案する。 Qwen2.5-VLに統合され、ビジョンストリームを textbf89% まで圧縮し、長いビデオでは textbf28% でエンドツーエンドのレイテンシを低減する。 以上の結果から,QTSplusはMLLMを現実世界の長ビデオシナリオに拡張するための,効果的で汎用的なメカニズムであることが示唆された。
  論文  参考訳（メタデータ） (2025-11-14T22:41:27Z)
• Glyph: Scaling Context Windows via Visual-Text Compression [91.20717058018745]
  Glyphは、長いテキストを画像にレンダリングし、視覚言語モデルで処理するフレームワークである。 提案手法は,従来の長文モデルに匹敵する精度を維持しつつ,3～4倍のトークン圧縮を実現する。 極端な圧縮では、128KテキストのVLMが1Mレベルのテキストタスクにスケールできる。
  論文  参考訳（メタデータ） (2025-10-20T17:58:56Z)
• SparseVILA: Decoupling Visual Sparsity for Efficient VLM Inference [49.84148668264725]
  SparseVILAは効率的なVLM推論のための新しいパラダイムであり、前処理と復号の段階で視覚空間を疎結合する。 AWQ最適化推論パイプライン上に構築されたSparseVILAは、プリフィルの最大4.0倍、デコーディングの2.5倍、長文ビデオタスクの2.6倍のエンドツーエンド高速化を実現している。
  論文  参考訳（メタデータ） (2025-10-20T17:35:47Z)
• LongCodeZip: Compress Long Context for Code Language Models [16.940525379087326]
  LongCodeZipは、LLM(Large Language Models)用に設計された新しいプラグアンドプレイコード圧縮フレームワークである。 重要な情報を保持しながらコンテキストサイズを効果的に削減することで、LongCodeZipはLLMを現実世界の大規模コードシナリオに拡張することができる。
  論文  参考訳（メタデータ） (2025-10-01T02:54:57Z)
• HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
  HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。 マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
  論文  参考訳（メタデータ） (2025-03-14T15:36:39Z)
• Vision-centric Token Compression in Large Language Model [51.92055188780033]
  Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。 11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
  論文  参考訳（メタデータ） (2025-02-02T13:10:06Z)
• Global Compression Commander: Plug-and-Play Inference Acceleration for High-Resolution Large Vision-Language Models [21.36437021964681]
  Global Compression Commander"はHR-LVLM用の新しいトークン圧縮フレームワークである。 GlobalCom$2$は90%以上のパフォーマンスを維持し、90%のビジュアルトークンを圧縮し、FLOPとピークメモリを9.1%と60%に削減している。
  論文  参考訳（メタデータ） (2025-01-09T11:57:58Z)
• TreeKV: Smooth Key-Value Cache Compression with Tree Structures [19.06842704338332]
  TreeKVは、スムーズなキャッシュ圧縮のためにツリー構造を利用するトレーニング不要の手法である。 PG19とOpenWebText2の言語モデリングタスクのベースラインモデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-09T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。