Fugu-MT 論文翻訳(概要): Visual Token Codec: Unleashing Spatial Redundancy for ViT Feature Coding

論文の概要: Visual Token Codec: Unleashing Spatial Redundancy for ViT Feature Coding

arxiv url: http://arxiv.org/abs/2608.08832v1
Date: Sun, 09 Aug 2026 17:32:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:36.96594
Title: Visual Token Codec: Unleashing Spatial Redundancy for ViT Feature Coding
Title（参考訳）: Visual Token Codec: ViT特徴符号化のための空間冗長性
Abstract要約: Visual Token Codecは、グローバルトークンとパッチトークンを専用のコーディングパスに分離する。 VTCは, 分類, セグメンテーション, 検出タスクにおいて, 代表的VT特徴量ベースラインを一貫して上回っていることを示す。
参考スコア（独自算出の注目度）: 49.540751364954666
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Distributed deployment of large vision foundation models often partitions a ViT backbone and exchanges intermediate token features between computing nodes, making efficient feature compression critical under bandwidth and computation constraints. Existing ViT feature codecs typically flatten heterogeneous global and patch tokens into an L x C pseudo image, causing entropy models to mainly capture sequence-axis dependencies while overlooking the native two-dimensional patch-grid structure. In this paper, we show that ViT patch tokens retain strong local spatial correlations on the original grid. To exploit this structural prior, we propose the Visual Token Codec (VTC), a dual-path learned codec that separates global and patch tokens into dedicated coding paths. Global tokens are compressed with a lightweight factorized prior, whereas patch tokens are encoded on the patch-token grid using a spatial-channel context entropy model. To support intermediate-layer compression and practical rate adaptation, VTC further incorporates feature-matching supervision after subsequent ViT blocks and variable-rate modules within a single codec. Experiments on DINOv2 and SAM3 show that VTC consistently outperforms representative ViT feature coding baselines on classification, segmentation, and detection tasks. At 90% of uncompressed-feature performance, VTC reduces bitrate by 15.7x-37.4x across these tasks. We further provide intermediate-layer rate-utility analyses for practical transmission- and storage-oriented deployment scenarios.
Abstract（参考訳）: 大きなビジョン基盤モデルの分散配置は、しばしばViTバックボーンを分割し、中間トークン機能を計算ノード間で交換する。既存のViT特徴コーデックは、通常、異種グローバルを平坦化し、トークンをLxCの擬似画像にパッチする。本稿では,VTパッチトークンが元の格子上に強い空間相関を保っていることを示す。この構造的先行性を活用するために、グローバルおよびパッチトークンを専用コードパスに分離するデュアルパス学習コーデックであるVisual Token Codec (VTC)を提案する。グローバルトークンは以前よりも軽量な因子化によって圧縮されるが、パッチトークンは空間チャネルコンテキストエントロピーモデルを用いてパッチトケングリッド上にエンコードされる。中間層圧縮と実用的なレート適応をサポートするため、VTCは、後続のViTブロックと可変レートモジュールを単一コーデックに組み込む。 DINOv2 と SAM3 の実験では、VTC は、分類、セグメンテーション、検出タスクにおいて、VT の特徴的コーディングベースラインを一貫して上回っている。圧縮されていない性能の90%では、VTCはこれらのタスクでビットレートを15.7x-37.4x削減する。さらに,現実的なトランスミッションおよびストレージ指向のデプロイメントシナリオに対して,中間層レートユーティリティ分析を行う。

関連論文リスト

Compressing AI Traffic: Standardized Neural Network Coding of Visual-Token Representations in Split Vision-Language Inference [15.357950338341285]
ビデオ-MMEの精度は、送信されたBF16テンソルの98%まで圧縮されていない基準に近づき、その後崩壊する。オープンエンドMLVU生成はLLM判定の下で同じプラトー・アンド・ロバスト性を示す。
論文参考訳（メタデータ） (2026-09-01T13:07:32Z)
PACE: A Unified Condense-and-Extract Paradigm for Fast VLM Inference [15.233755808671871]
既存の視覚トークンプルーニング法には2つの基本的な制限がある。ほとんどのアプローチは、ビジョン後エンコーダのみを動作させ、視覚符号化フェーズのかなりの遅延は、最適化されないままである。視覚エンコーダと大規模言語モデルの両方を高速化するフレームワークである PACE を提案する。
論文参考訳（メタデータ） (2026-08-27T14:52:09Z)
Aggregating Visual Information with Optimal Transport for VideoLM Token Compression [55.867497983465476]
ビデオ言語モデルは、ビデオを表現の冗長性に富んだ濃密な視覚的なシーケンスとして処理する。これらのシーケンスは、言語モデルデコーディングにおける視覚的負担を軽減するために不可欠である。 AVIOT(Aggregating Visual Information with Optimal Transport)を導入し,フレーム観測の高密度な経験的指標としてビデオトークン圧縮を論じる。
論文参考訳（メタデータ） (2026-08-20T18:05:42Z)
Accelerating Streaming Video Large Language Models via Hierarchical Token Compression [12.247532124314402]
Streaming Video Large Language Models (VideoLLMs)は、様々なビデオ理解タスクで素晴らしいパフォーマンスを誇示している。連続したビデオストリームから高密度のビジュアルトークンを処理する計算コストが高いため、リアルタイムデプロイメントにおいて大きな課題に直面している。 textbfStreaming textbfToken textbfCompression (textbfSTC)を提案する。
論文参考訳（メタデータ） (2025-11-30T13:44:28Z)
LLaVA-UHD v3: Progressive Visual Compression for Efficient Native-Resolution Encoding in MLLMs [52.24096832965001]
提案するプログレッシブ・ビジュアル・圧縮(PVC)法を中心としたMLLMであるLLaVA-UHD v3を提案する。 PVC法は、視覚変換器(ViT)にシームレスに統合して、効率的なネイティブ解像度符号化を可能にする。 ViT-UHDをベースとしたLLaVA-UHD v3はQwen2-VLとの競合性能も達成し、TTFTを1.9倍削減した。
論文参考訳（メタデータ） (2025-11-26T08:11:10Z)
SCASeg: Strip Cross-Attention for Efficient Semantic Segmentation [37.2240333333522]
Vision Transformer (ViT) はコンピュータビジョンにおいて顕著な成功を収めており、その変種はセマンティックセグメンテーションを含む様々な下流タスクで広く検証されている。本稿では,意味的セグメンテーションのために設計された革新的なデコーダヘッドであるStrip Cross-Attention (SCASeg)を提案する。
論文参考訳（メタデータ） (2024-11-26T03:00:09Z)
High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
論文参考訳（メタデータ） (2024-10-03T15:40:58Z)
CAIT: Triple-Win Compression towards High Accuracy, Fast Inference, and Favorable Transferability For ViTs [89.79139531731637]
ビジョントランスフォーマー (ViT) は様々なビジョンタスクの最先端モデルとして登場した。本稿では,高次アンダーライン精度,高速アンダーライン推論速度,下流タスクに対する好適なアンダーライン変換性を両立させたViTの合同アンダーライン圧縮法を提案する。
論文参考訳（メタデータ） (2023-09-27T16:12:07Z)
SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers [76.13755422671822]
本稿では,エンコーダ・デコーダ・フレームワークを用いた意味的セグメンテーションのためのプレーンビジョン変換器(ViT)の能力について検討する。 Intention-to-Mask(atm)モジュールを導入し、平易なViTに有効な軽量デコーダを設計する。我々のデコーダは、様々なViTバックボーンを使用して人気のあるデコーダUPerNetより優れ、計算コストの5%程度しか消費しない。
論文参考訳（メタデータ） (2023-06-09T22:29:56Z)
SegViT: Semantic Segmentation with Plain Vision Transformers [91.50075506561598]
意味的セグメンテーションのための平易な視覚変換器(ViT)の能力について検討する。本研究では,学習可能なクラストークンの集合と空間特徴マップの類似性をセグメンテーションマスクに転送するATMモジュールを提案する。実験の結果,ATMモジュールを用いたSegVitは,通常のViTバックボーンよりも優れていることがわかった。
論文参考訳（メタデータ） (2022-10-12T00:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。