論文の概要: VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

• arxiv url: http://arxiv.org/abs/2604.12887v1
• Date: Tue, 14 Apr 2026 15:37:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.538869
• Title: VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
• Title（参考訳）: VideoFlexTok:フレキシブルな長さの粗大なビデオトークン化
• Abstract要約: VideoFlexTokは、粗い方法で構造化された可変長のトークンシーケンスでビデオを表現する。 生成フローデコーダは、任意のトークン数からリアルなビデオ再構成を可能にする。
• 参考スコア（独自算出の注目度）: 19.140563809250214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual tokenizers map high-dimensional raw pixels into a compressed representation for downstream modeling. Beyond compression, tokenizers dictate what information is preserved and how it is organized. A de facto standard approach to video tokenization is to represent a video as a spatiotemporal 3D grid of tokens, each capturing the corresponding local information in the original signal. This requires the downstream model that consumes the tokens, e.g., a text-to-video model, to learn to predict all low-level details "pixel-by-pixel" irrespective of the video's inherent complexity, leading to high learning complexity. We present VideoFlexTok, which represents videos with a variable-length sequence of tokens structured in a coarse-to-fine manner -- where the first tokens (emergently) capture abstract information, such as semantics and motion, and later tokens add fine-grained details. The generative flow decoder enables realistic video reconstructions from any token count. This representation structure allows adapting the token count according to downstream needs and encoding videos longer than the baselines with the same budget. We evaluate VideoFlexTok on class- and text-to-video generative tasks and show that it leads to more efficient training compared to 3D grid tokens, e.g., achieving comparable generation quality (gFVD and ViCLIP Score) with a 5x smaller model (1.1B vs 5.2B). Finally, we demonstrate how VideoFlexTok can enable long video generation without prohibitive computational cost by training a text-to-video model on 10-second 81-frame videos with only 672 tokens, 8x fewer than a comparable 3D grid tokenizer.
• Abstract（参考訳）: ビジュアルトークンーは、高次元の生のピクセルを下流モデリングのための圧縮表現にマッピングする。 圧縮以外にも、トークンーはどの情報が保存され、どのように整理されるかを規定する。 ビデオトークン化のデファクトスタンダードなアプローチは、ビデオをトークンの時空間3Dグリッドとして表現することであり、それぞれが元の信号で対応するローカル情報をキャプチャする。 これは、ビデオ固有の複雑さに関係なく、低レベルのすべての詳細を"ピクセル・バイ・ピクセル"を予測することを学ぶために、例えば、テキスト・ツー・ビデオモデルのようなトークンを消費するダウンストリームモデルを必要とする。 このビデオFlexTokは、粗い方法で構造化されたトークンの可変長シーケンスでビデオを表現するもので、最初のトークンがセマンティクスやモーションなどの抽象情報を(創発的に)キャプチャし、後にトークンが細かな詳細を付加する。 生成フローデコーダは、任意のトークン数からリアルなビデオ再構成を可能にする。 この表現構造により、下流のニーズに応じてトークンカウントを適応させ、同じ予算でベースラインよりも長いビデオをエンコードすることができる。 ビデオFlexTokをクラスおよびテキスト・ツー・ビデオ生成タスクで評価し,5倍のモデル(1.1B×5.2B)で生成品質(gFVDおよびViCLIPスコア)を達成することで,3Dグリッドトークンと比較して,より効率的なトレーニングを実現することを示す。 最後に,ビデオFlexTokが10秒間81フレームビデオのテキスト・ツー・ビデオモデルを672トークンでトレーニングすることで,計算コストを抑えることなく,長時間のビデオ生成を可能にすることを示す。

関連論文リスト

• TrajTok: Learning Trajectory Tokens enables better Video Understanding [63.1260672430712]
  ビデオモデルのトークン化は、通常、パッチ化によって、過剰で冗長な数のトークンを生成する。 そこで我々は,ビデオモデルと完全に統合され,共にトレーニングされたビデオトークンモジュールであるTrajTokを提案する。 本稿では,前処理した視覚特徴量(TrajAdapter)の探索ヘッドとしてシームレスに統合できるか,特に長ビデオ推論において高い性能を持つ視覚言語モデル(TrajVLM)のアライメントコネクタとして利用できることを示す。
  論文  参考訳（メタデータ） (2026-02-26T09:15:34Z)
• Video-XL-Pro: Reconstructive Token Compression for Extremely Long Video Understanding [12.215829700340988]
  Video-XL-Proは、非常に長いビデオ理解のための効率的な方法である。 Video-XL-Proは、1つのA100 GPUで8Kフレーム以上を処理できる。
  論文  参考訳（メタデータ） (2025-03-24T09:21:48Z)
• HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
  HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。 マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
  論文  参考訳（メタデータ） (2025-03-14T15:36:39Z)
• Efficient Long Video Tokenization via Coordinate-based Patch Reconstruction [93.69757398746017]
  CoordTokは、座標ベースの表現から入力ビデオの対応するパッチへのマッピングを学ぶビデオトークンである。 CoordTokは、ビデオを分解された三面体表現にエンコードし、ランダムにサンプリングされた$(x,y,t)$座標に対応するパッチを再構築する。
  論文  参考訳（メタデータ） (2024-11-22T06:50:44Z)
• ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
  我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。 推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。 画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-10-10T20:54:15Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Phenaki: Variable Length Video Generation From Open Domain Textual Description [21.610541668826006]
  フェナキ(Phenaki)は、一連のテキストプロンプトを与えられたリアルなビデオ合成が可能なモデルである。 ビデオ表現を学習する新しいモデルは、ビデオを離散トークンの小さな表現に圧縮する。 私たちの知る限りでは、論文が時間変化プロンプトからビデオを生成するのは今回が初めてです。
  論文  参考訳（メタデータ） (2022-10-05T17:18:28Z)
• VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning [82.09856883441044]
  ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。 空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。 また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
  論文  参考訳（メタデータ） (2021-06-21T16:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。