論文の概要: CoVisco: Codec-Native Vision Encoder with Native Token Compression for Unified Image-Video Understanding

• arxiv url: http://arxiv.org/abs/2609.39924v1
• Date: Wed, 30 Sep 2026 15:12:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.964437
• Title: CoVisco: Codec-Native Vision Encoder with Native Token Compression for Unified Image-Video Understanding
• Title（参考訳）: CoVisco: 統一イメージ映像理解のためのネイティブトーケン圧縮付きコーデックネイティブビジョンエンコーダ
• Abstract要約: CoViscoは、画像とビデオの統一理解のためのネイティブトークン圧縮を備えたビジョンエンコーダである。 ネイティブインプットサポートとセグメンテーションされたアテンションを組み合わせることで、CoViscoは単一のフォワードパスで長いビジュアルインプットをエンコードできる。 CoViscoは、ビデオ指向の埋め込みとマルチモーダル理解ベンチマークで競合するパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 34.5182550044725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models face a fundamental scaling bottleneck: the number of visual tokens grows with both temporal duration and spatial resolution, making long-video understanding expensive for the vision encoder and the language model. Existing methods often compress visual tokens after dense encoding, creating a mismatch between the representation used during training and the compact interface required at deployment. We present CoVisco, a codec-native vision encoder with native token compression for unified image-video understanding. By combining codec-native input support with segmented attention, CoVisco can encode long visual inputs in a single forward pass without forming dense patch-to-patch interactions across all frames. Each temporal segment is equipped with learnable abstract tokens that learn a compact segment-level representation, while fine-grained patch tokens remain available throughout the encoder. Alternating intra-segment and abstract-communication layers preserve video-level context through the abstract-token channel. A lightweight selector further exposes either abstract tokens alone or abstract tokens augmented with a runtime-selected subset of patch tokens, yielding a compact visual interface that reduces the visual context and prefill burden of downstream MLLMs while retaining fine-grained evidence when needed. Pretrained with contrastive objectives on 565M image--text pairs and 6.4M videos, CoVisco shows competitive performance on video-oriented embedding and multimodal understanding benchmarks. In the evaluated four-segment, 64-frame setting, abstract-only inference uses only 400 visual tokens while achieving video-understanding performance close to, and on some benchmarks exceeding, OneVision-Encoder. Selected patch tokens further improve fine-grained video reasoning. Project URL: https://github.com/ernie-research/CoVisco.git
• Abstract（参考訳）: 視覚的トークンの数は、時間的時間と空間的解像度の両方で増加し、視覚エンコーダと言語モデルのために長いビデオ理解が高価になる。 既存の方法では、濃密なエンコーディング後に視覚トークンを圧縮し、トレーニングで使用される表現とデプロイメントに必要なコンパクトインターフェースのミスマッチを生成する。 本稿では,コーデックネイティブな視覚エンコーダであるCoViscoについて紹介する。 コーデックネイティブな入力サポートとセグメンテッドアテンションを組み合わせることで、CoViscoは、すべてのフレームにわたるパッチとパッチの密接なインタラクションを形成することなく、単一のフォワードパスで長い視覚的な入力をエンコードすることができる。 各時間セグメントには、コンパクトなセグメントレベルの表現を学ぶための学習可能な抽象トークンが備わっているが、細粒度のパッチトークンはエンコーダ全体で利用可能である。 インターセグメンテーション層と抽象コミュニケーション層は、抽象トーケンチャネルを通してビデオレベルのコンテキストを保存する。 軽量セレクタは、抽象トークンのみまたは、ランタイム選択されたパッチトークンのサブセットで強化された抽象トークンを公開し、視覚的コンテキストを小さくし、下流MLLMの負担を埋めると共に、必要に応じてきめ細かい証拠を保持しながら、コンパクトなビジュアルインターフェースを提供する。 565Mの画像テキスト対と6.4Mビデオのコントラスト的な目的により、CoViscoはビデオ指向の埋め込みとマルチモーダル理解ベンチマークの競合性能を示した。 評価された4つのセグメント64フレーム設定では、抽象のみの推論は400のビジュアルトークンしか使用せず、ビデオ理解性能は近く、一部のベンチマークではOneVision-Encoderを上回っている。 選択されたパッチトークンはさらにきめ細かいビデオ推論を改善する。 プロジェクトURL:https://github.com/ernie-research/CoVisco.git

関連論文リスト

• PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference [15.233755808671871]
  既存の視覚トークンプルーニング法には2つの基本的な制限がある。 ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。 視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
  論文  参考訳（メタデータ） (2026-08-27T14:52:09Z)
• CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
  ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。 現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。 多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:57:31Z)
• PyraTok: Language-Aligned Pyramidal Tokenizer for Video Understanding and Generation [16.49483030664511]
  PyraTokは言語対応のピラミッドトークンで、複数の解像度で意味的に構造化されたラテントを学ぶ。 PyraTokは、事前訓練されたビデオVAEと、新しいLanguage Pyramidal Quantization(LaPQ)モジュールをベースとしている。 LaPQは、共有された大きなバイナリコードブックを使用してエンコーダをいくつかの深さで識別し、コンパクトだが表現力のあるビデオトークンシーケンスを生成する。
  論文  参考訳（メタデータ） (2026-01-22T18:58:55Z)
• SparseVILA: Decoupling Visual Sparsity for Efficient VLM Inference [49.84148668264725]
  SparseVILAは効率的なVLM推論のための新しいパラダイムであり、前処理と復号の段階で視覚空間を疎結合する。 AWQ最適化推論パイプライン上に構築されたSparseVILAは、プリフィルの最大4.0倍、デコーディングの2.5倍、長文ビデオタスクの2.6倍のエンドツーエンド高速化を実現している。
  論文  参考訳（メタデータ） (2025-10-20T17:35:47Z)
• DisCo: Towards Distinct and Coherent Visual Encapsulation in Video MLLMs [28.998923104606614]
  DisCoは、ビデオMLLMに対して意味的に区別され、時間的に一貫性のある視覚トークンを提供するために設計された視覚カプセル化手法である。 DisCoは、様々なビデオ理解ベンチマークで過去の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-07-14T14:05:19Z)
• HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
  HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。 マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
  論文  参考訳（メタデータ） (2025-03-14T15:36:39Z)
• PVC: Progressive Visual Token Compression for Unified Image and Video Processing in Large Vision-Language Models [64.9366388601049]
  ビジュアルトークン圧縮は、視覚入力の相当なトークン長を減らすために利用される。 我々は,プログレッシブ・ビジュアル・トークン圧縮と呼ばれる統一的なトークン圧縮戦略を導入する。 本モデルは,様々なビデオ理解ベンチマークにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-12-12T18:59:40Z)
• VoCo-LLaMA: Towards Vision Compression with Large Language Models [31.398537194299752]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 LLMを用いて視覚トークンを圧縮する最初の方法であるVoCo-LLaMAを提案する。 提案手法は, 576$times$の圧縮比で最小性能損失を達成し, 最大94.8$%のFLOPと69.6$%の高速化を実現した。
  論文  参考訳（メタデータ） (2024-06-18T05:05:12Z)
• CenterCLIP: Token Clustering for Efficient Text-Video Retrieval [67.21528544724546]
  CLIPでは、ビデオ内の連続するフレームの冗長性のために、離散的な視覚トークンシーケンスを生成する重要な視覚トークン化プロセスが、多くの均一なトークンを生成する。 これにより、計算コストが大幅に増加し、Webアプリケーションにおけるビデオ検索モデルの展開が妨げられる。 本稿では,最も代表的なトークンを抽出し,非意味トークンをドロップするマルチセグメントトークンクラスタリングアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-05-02T12:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。