論文の概要: PAT-VCM: Plug-and-Play Auxiliary Tokens for Video Coding for Machines

• arxiv url: http://arxiv.org/abs/2604.13294v1
• Date: Tue, 14 Apr 2026 20:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.295962
• Title: PAT-VCM: Plug-and-Play Auxiliary Tokens for Video Coding for Machines
• Title（参考訳）: PAT-VCM: コンピュータ用ビデオ符号化のためのプラグアンドプレイ補助トークン
• Authors: Wei Jiang, Wei Wang,
• Abstract要約: PAT-VCM (PAT-VCM) は、コンピュータ向けビデオ符号化のための補助的フレームワークである。 セグメンテーション,深さ推定,意味認識で評価する。 その結果,共有圧縮表現と軽量なタスク認識型補助トークンが組み合わさって,タスク結合型VCM設計の実用的でスケーラブルな代替手段であることが示唆された。
• 参考スコア（独自算出の注目度）: 6.146072912338954
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing video coding for machines is often trained for a specific downstream task and model. As a result, the compressed representation becomes tightly coupled to the end task, making it difficult to scale across multiple tasks or adapt to model updates. We propose PAT-VCM, a plug-and-play auxiliary-token framework for video coding for machines. PAT-VCM keeps a shared baseline compressed stream and augments it with lightweight task-aware auxiliary tokens, allowing different downstream tasks to recover the information they need without retraining a separate codec for each task. The framework supports three forms of auxiliary information: visual residual tokens, prompt/control tokens, and semantic tokens. We evaluate PAT-VCM on segmentation, depth estimation, and semantic recognition. A shared detection-oriented auxiliary branch provides a reusable first refinement, task-specific visual branches improve segmentation and depth, prompt tokens provide further segmentation gains at negligible bitrate, and semantic tokens achieve strong recognition performance with extremely low overhead. These results suggest that a shared compressed representation, combined with lightweight task-aware auxiliary tokens, is a practical and scalable alternative to tightly task-coupled VCM design.
• Abstract（参考訳）: 既存の機械のビデオ符号化は、特定の下流タスクとモデルのために訓練されることが多い。 その結果、圧縮された表現はエンドタスクと密結合となり、複数のタスクをまたいだスケールやモデル更新への適応が困難になる。 本稿では,PAT-VCMを提案する。 PAT-VCMは、共有ベースライン圧縮ストリームを保持し、それを軽量なタスク対応補助トークンで拡張し、各タスクごとに別々のコーデックをトレーニングすることなく、異なるダウンストリームタスクが必要な情報を回復できるようにする。 このフレームワークは視覚的残留トークン、プロンプト/コントロールトークン、セマンティックトークンの3種類の補助情報をサポートしている。 セグメンテーション,深さ推定,意味認識におけるPAT-VCMの評価を行った。 共有検出指向補助枝は再利用可能な第1の洗練を提供し、タスク固有の視覚枝はセグメンテーションと深さを改善し、プロンプトトークンは無視可能なビットレートでさらなるセグメンテーションゲインを提供し、セマンティックトークンは極めて低いオーバーヘッドで強力な認識性能を達成する。 これらの結果から,共有圧縮表現と軽量なタスク認識型補助トークンが組み合わさって,タスク結合型VCM設計の実用的でスケーラブルな代替手段であることが示唆された。

関連論文リスト

• TrajTok: Learning Trajectory Tokens enables better Video Understanding [63.1260672430712]
  ビデオモデルのトークン化は、通常、パッチ化によって、過剰で冗長な数のトークンを生成する。 そこで我々は,ビデオモデルと完全に統合され,共にトレーニングされたビデオトークンモジュールであるTrajTokを提案する。 本稿では,前処理した視覚特徴量(TrajAdapter)の探索ヘッドとしてシームレスに統合できるか,特に長ビデオ推論において高い性能を持つ視覚言語モデル(TrajVLM)のアライメントコネクタとして利用できることを示す。
  論文  参考訳（メタデータ） (2026-02-26T09:15:34Z)
• FLoC: Facility Location-Based Efficient Visual Token Compression for Long Video Understanding [55.700832127331324]
  FLoCは、施設位置関数に基づく効率的なビジュアルトークン圧縮フレームワークである。 本手法は,トークンのコンパクトな部分集合を迅速に選択することにより,顕著な効率向上を実現する。 私たちのアプローチは、トレーニング不要、モデル非依存、クエリ非依存で、汎用的なソリューションを提供しています。
  論文  参考訳（メタデータ） (2025-10-31T17:29:39Z)
• SparseVILA: Decoupling Visual Sparsity for Efficient VLM Inference [49.84148668264725]
  SparseVILAは効率的なVLM推論のための新しいパラダイムであり、前処理と復号の段階で視覚空間を疎結合する。 AWQ最適化推論パイプライン上に構築されたSparseVILAは、プリフィルの最大4.0倍、デコーディングの2.5倍、長文ビデオタスクの2.6倍のエンドツーエンド高速化を実現している。
  論文  参考訳（メタデータ） (2025-10-20T17:35:47Z)
• METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models [92.37117312251755]
  プログレッシブプルーニングフレームワークであるMulti-Encoder collaboraTivE tOken pRuning (METEOR)を提案する。 マルチビジョン符号化では,各エンコーダ内の冗長トークンをランク誘導型協調トークン代入戦略により破棄する。 マルチビジョン融合では、異なるエンコーダの視覚的特徴を組み合わせながら、コラボレーティブプルーニングによるクロスエンコーダ冗長性を低減させる。
  論文  参考訳（メタデータ） (2025-07-28T13:50:53Z)
• ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
  ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。 トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-24T15:47:49Z)
• QG-VTC: Question-Guided Visual Token Compression in MLLMs for Efficient VQA [16.494799458292]
  画像はテキストよりも冗長な情報が多く、視覚的な詳細が特定の質問に関係しているわけではない。 MLLMに基づくVQAタスクのための新しい質問誘導型ビジュアルトークン圧縮手法であるQG-VTCを提案する。 QG-VTCは、事前訓練されたテキストエンコーダと学習可能なフィードフォワード層を使用して、ユーザ質問を視覚エンコーダの機能空間に埋め込む。
  論文  参考訳（メタデータ） (2025-04-01T11:07:19Z)
• QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
  既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。 QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。 クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
  論文  参考訳（メタデータ） (2025-03-11T17:59:57Z)
• EVC-MF: End-to-end Video Captioning Network with Multi-scale Features [13.85795110061781]
  本稿では,ビデオキャプションのためのエンド・ツー・エンドエンコーダ・デコーダ・ネットワーク(EVC-MF)を提案する。 マルチスケールの視覚的特徴とテキスト的特徴を効果的に利用し、ビデオ記述を生成する。 その結果,EVC-MFは最先端技術に比べて競争性能が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-22T02:16:02Z)
• Prompt-ICM: A Unified Framework towards Image Coding for Machines with Task-driven Prompts [27.119835579428816]
  機械用画像符号化(ICM)は、人間の知覚ではなく、下流のAI分析をサポートするために画像を圧縮することを目的としている。 近年の大規模事前学習モデルから下流タスクへの移行に触発されて,新しいICMフレームワークであるPrompt-ICMを探索する。 提案手法は,情報セレクタによって予測される重要マップとして実装された圧縮プロンプトと,下流の異なるタスクに応じて圧縮中に異なるコンテンツ重み付けビット割り当てを実現するための2つのコア設計からなる。
  論文  参考訳（メタデータ） (2023-05-04T06:21:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。