論文の概要: TivTok: Broadcasting Time-Invariant Tokens for Scalable Video Tokenization

• arxiv url: http://arxiv.org/abs/2606.17590v1
• Date: Tue, 16 Jun 2026 06:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.317426
• Title: TivTok: Broadcasting Time-Invariant Tokens for Scalable Video Tokenization
• Title（参考訳）: TivTok: スケーラブルなビデオトークン化のための時間不変トークンのブロードキャスト
• Authors: Weiliang Chen, Yuanhui Huang, Xuebo Wang, Yueqi Duan,
• Abstract要約: 本稿では、時間とともに永続的な情報を再利用する再利用対応ビデオトークンーザを提案する。 TivTokは、フレーム間で共有される情報をエンコードするTime-Invariant(TIV)トークンと、フレーム固有の残留物をエンコードするTime-Variant(TV)トークンを備えたクリップを表す。
• 参考スコア（独自算出の注目度）: 33.28254526468271
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video tokenization is fundamental to scalable video generation, as the number of tokens directly determines the computational cost and the length of videos that can be modeled. Existing tokenizers mainly improve scalability by compressing videos into fewer tokens, but they often continue to represent persistent content, such as static backgrounds and consistent object appearances, repeatedly across frames and chunks. In this paper, we propose \textbf{TivTok} (\textit{Time-Invariant Tokenizer}), a reuse-aware video tokenizer that makes persistent information reusable across time. TivTok represents a clip with Time-Invariant (TIV) tokens that encode information shared across frames and Time-Variant (TV) tokens that encode frame-specific residuals. To obtain this factorization, we introduce Scope-Induced Factorization (SIF), which assigns different attention scopes to the two token groups: TIV tokens attend to the full clip, whereas each TV token only accesses its corresponding frame together with the TIV tokens. In the decoder, Invariant Broadcasting (IB) reuses the same TIV tokens across frames and chunks for parallel reconstruction and long-video tokenization. Experiments show that TivTok achieves an rFVD of 12.65 on the standard $16{\times}256{\times}256$ benchmark and improves compression efficiency by 2.91$\times$ for 128-frame videos compared with the evaluated baselines, while using only 1.1\% of the tokens required by downsample-based tokenizers in our evaluation.
• Abstract（参考訳）: ビデオトークン化はスケーラブルなビデオ生成の基本であり、トークンの数が直接計算コストとモデル化可能なビデオの長さを決定する。 既存のトークンライザは主に、ビデオをより少ないトークンに圧縮することでスケーラビリティを向上させるが、静的な背景や一貫したオブジェクトの出現など、フレームやチャンクを繰り返す永続的なコンテンツの表現を継続することが多い。 本稿では,時間とともに永続的な情報を再利用するビデオトークン化ツールである \textbf{TivTok} (\textit{Time-Invariant Tokenizer}) を提案する。 TivTokは、フレーム間で共有される情報をエンコードするTime-Invariant(TIV)トークンと、フレーム固有の残留物をエンコードするTime-Variant(TV)トークンを備えたクリップを表す。 この因子化を実現するために,2つのトークン群に対して異なる注意範囲を割り当てるScope-induced Factorization (SIF)を導入し,TIVトークンが全クリップに付随するのに対して,TVトークンはTIVトークンとともに対応するフレームにのみアクセスする。 デコーダでは、IB(Invariant Broadcasting)はフレームとチャンクにまたがって同じTIVトークンを再利用し、並列再構築と長ビデオトークン化を行う。 実験により、TivTokは標準の16{\times}256{\times}256$ベンチマークで12.65のrFVDを達成し、18フレームビデオの圧縮効率を2.91$\times$に改善した。

関連論文リスト

• AdaCodec: A Predictive Visual Code for Video MLLMs [66.30108093864139]
  我々は,このインターフェースを音声予測ビジュアルコードと呼び,ビデオMLLMを textbfAdaCodec としてインスタンス化する。 AdaCodecは、条件付き予測コストが高い場合にのみ、参照フレームに完全なビジュアルトークンを使用する。 これは、動きや予測残差を含むフレーム間の変化をコンパクトなPトークンとしてエンコードする。
  論文  参考訳（メタデータ） (2026-06-01T17:56:35Z)
• VTok: A Unified Video Tokenizer with Decoupled Spatial-Temporal Latents [33.80068883432077]
  この作業では、生成と理解の両方に使用できる統合ビデオトークン化フレームワークであるVTokを紹介している。 本稿では,映像の空間的・時間的表現を1つのキーフレームの空間的特徴を保ちながら,各フレームを1つの残差トークンに符号化することで分離することを提案する。 実験の結果,VTokはフレーム数とフレーム単位のトークン数から,映像表現の複雑さをその和に効果的に還元することがわかった。
  論文  参考訳（メタデータ） (2026-02-04T04:39:46Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• Efficient Long Video Tokenization via Coordinate-based Patch Reconstruction [93.69757398746017]
  CoordTokは、座標ベースの表現から入力ビデオの対応するパッチへのマッピングを学ぶビデオトークンである。 CoordTokは、ビデオを分解された三面体表現にエンコードし、ランダムにサンプリングされた$(x,y,t)$座標に対応するパッチを再構築する。
  論文  参考訳（メタデータ） (2024-11-22T06:50:44Z)
• ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
  我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。 推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。 画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-10-10T20:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。