論文の概要: Visual Token Coding for Video Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2608.28008v1
• Date: Fri, 28 Aug 2026 07:21:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.236971
• Title: Visual Token Coding for Video Multimodal Large Language Models
• Title（参考訳）: ビデオマルチモーダル大言語モデルのためのビジュアルトークン符号化
• Abstract要約: ビデオマルチモーダル大言語モデル(MLLM)のための新しいトークン圧縮パラダイムを提案する。 Visual Token Coding (VTC) は、ビデオのI/Pフレームを予測して構造化圧縮を行う。 プラグアンドプレイの設計として、VTCはトークン符号化のためのMLLMの追加チューニングを必要としない。
• 参考スコア（独自算出の注目度）: 57.57778866751678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose a new token compression paradigm for video Multimodal Large Language Models (MLLMs), termed Visual Token Coding (VTC). Inspired by classical video coding principles, e.g., HEVC, VTC performs structured compression by predicting the I/P frames of a video and measuring their frame-wise residuals to estimate token redundancy. Based on this baseline framework, we also enhance VTC with a set of novel dynamic designs, such as Dynamic Resolution Input (DyRSO), Dynamic Token Allocation (DyTA), and Spatial Coverage Top-K (SC-TopK), and term this new approach $VTC_{Dy}$. To validate VTC, we apply it to three MLLMs and conduct experiments on multiple video understanding benchmarks. The experimental results show that VTC$_{\mathrm{Dy}}$ achieves an average performance retention of 100.1% with a 50% token budget for Qwen3-VL, while still retaining 97.8% of the average performance when the token budget is reduced to 25%. Moreover, as a plug-and-play design, VTC requires no additional tuning of MLLMs for token coding. Our code is available at https://github.com/Msr233/VTC.
• Abstract（参考訳）: 本稿では,ビデオマルチモーダル大言語モデル(MLLM)のための新しいトークン圧縮パラダイムを提案する。 ビデオのI/Pフレームを予測し、フレーム単位の残差を測定してトークンの冗長性を推定することで、古典的なビデオ符号化原理であるHEVCにインスパイアされたVTCは、構造化された圧縮を行う。 このベースラインフレームワークに基づいて、動的分解能入力(DyRSO)、動的トークン割当(DyTA)、空間被覆トップK(SC-TopK)などの新しい動的設計を用いてVTCを強化し、この新しいアプローチを$VTC_{Dy}$と呼ぶ。 VTCを検証するために、3つのMLLMに適用し、複数のビデオ理解ベンチマークで実験を行う。 実験の結果、VTC$_{\mathrm{Dy}}$は、Qwen3-VLの50%のトークン予算で100.1%の平均的なパフォーマンス保持を達成する一方で、トークン予算が25%に削減された場合、平均パフォーマンスの97.8%を維持していることがわかった。 さらに、プラグアンドプレイの設計として、VTCはトークン符号化のためのMLLMの追加チューニングを必要としない。 私たちのコードはhttps://github.com/Msr233/VTCで利用可能です。

関連論文リスト

• Token-Budget Distillation: Transferring Full-Token Semantics to Compressed Video Vision-Language Models [20.77624638873576]
  Token-Budget Distillation (TBD) は、ビデオビジョン言語モデルを適用するためのパラメータ効率の良い微調整フレームワークである。 LLaVA-Video, LLaVA-OneVision, Qwen3-VL-8B-Instruct などのビデオVLMバックボーン上でTBDを評価する。
  論文  参考訳（メタデータ） (2026-08-28T09:59:27Z)
• CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models [9.660619113725843]
  我々はCRAFT: Resive Adaptive Fusion Video Tokensによる圧縮を提案する。 CRAFTは、最先端のトークン圧縮手法よりも一貫して優れている。 圧縮価格は約8ドルで、バックボーンの平均精度の約97%を保持します。
  論文  参考訳（メタデータ） (2026-08-03T03:27:46Z)
• ReDiPrune: Relevance-Diversity Pre-Projection Token Pruning for Efficient Multimodal LLMs [16.523460406504604]
  ReDiPrune(ReDiPrune)は、視覚条件のプロジェクタに適用される、トレーニング不要のトークンプルーニング手法である。 視覚エンコーダ出力から直接情報トークンを選択し、きめ細かい空間的および意味的な手がかりを保存する。 4つのビデオと5つの画像ベンチマークの精度と効率のトレードオフを一貫して改善する。
  論文  参考訳（メタデータ） (2026-03-25T18:01:19Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• VTC-R1: Vision-Text Compression for Efficient Long-Context Reasoning [55.17170420615628]
  長いコンテキスト推論は、複雑なタスクに対処するために大きな言語モデル(LLM)を著しく強化した。 本稿では,視覚テキスト圧縮を推論プロセスに統合した新しい効率的な推論パラダイムであるVTC-R1を提案する。 このアプローチは推論効率を大幅に改善し、エンドツーエンドのレイテンシで2.7倍の高速化を実現します。
  論文  参考訳（メタデータ） (2026-01-29T18:07:39Z)
• Towards Practical Real-Time Neural Video Compression [60.390180067626396]
  我々は,高圧縮比,低レイテンシ,広範汎用性を実現するために設計された実用的リアルタイムニューラルビデオ(NVC)を紹介する。 実験により,提案したDCVC-RTは1080pビデオに対して125.2/112.8フレーム(毎秒125.2/112.8フレーム)の高速符号化を実現し,H.266/VTMと比較して21%のfpsを節約できた。
  論文  参考訳（メタデータ） (2025-02-28T06:32:23Z)
• VoCo-LLaMA: Towards Vision Compression with Large Language Models [31.398537194299752]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 LLMを用いて視覚トークンを圧縮する最初の方法であるVoCo-LLaMAを提案する。 提案手法は, 576$times$の圧縮比で最小性能損失を達成し, 最大94.8$%のFLOPと69.6$%の高速化を実現した。
  論文  参考訳（メタデータ） (2024-06-18T05:05:12Z)
• SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。 我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
  論文  参考訳（メタデータ） (2023-06-09T22:29:56Z)
• ELF-VC: Efficient Learned Flexible-Rate Video Coding [61.10102916737163]
  低レイテンシモードの性能向上を実現するための,学習ビデオ圧縮のための新しいアイデアをいくつか提案する。 一般的なビデオテストセット UVG と MCL-JCV 上で,ELF-VC と呼ぶ手法をベンチマークする。 我々の手法は少なくとも5倍高速に動作し、これらの数値を報告するすべてのMLコーデックよりもパラメータが少ない。
  論文  参考訳（メタデータ） (2021-04-29T17:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。