論文の概要: TrackTok: Object-Centric Video Tokenization with Semantically Persistent Tokens

• arxiv url: http://arxiv.org/abs/2610.33857v1
• Date: Sat, 24 Oct 2026 18:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.465186
• Title: TrackTok: Object-Centric Video Tokenization with Semantically Persistent Tokens
• Title（参考訳）: TrackTok: 意味的に永続的なトークンによるオブジェクト中心のビデオトークン化
• Abstract要約: TrackTokは、オブジェクト中心のトークンを生成する効率的なビデオトークン化フレームワークである。 提案手法は,フレーム間の視覚的特徴を安定な意味単位に結合する時間的に永続的なオブジェクト中心表現を学習する。 TrackTokは、UCF-101データセット上で、同等のクラス条件生成FVDを8倍の遅延トークンとより優れたレイテンシで達成している。
• 参考スコア（独自算出の注目度）: 61.201991859116056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce TrackTok, an efficient video tokenization framework that produces object-centric tokens, i.e., tokens that consistently encode the same semantic objects across time, even as it moves, deforms, or undergoes partial occlusion. Conventional patch-based or existing holistic tokenizers produce token identities often tied to fixed image locations. In contrast, our approach learns temporally persistent object-centric representations that bind visual features across frames into stable semantic units. This enables substantially more compact, continuous latent video representations, reducing the number of tokens required for downstream generative modeling with state-of-the-art flow models, while preserving the semantic structure needed for high-quality synthesis. Our tokenizer offers a favorable quality-efficiency trade-off. TrackTok achieves comparable class-conditional generative FVD on UCF-101 dataset at 8 times fewer latent tokens and better latency, and outperforms existing 1D tokenization baselines on frame prediction task on Kinetics-600 across low token budgets. These results suggest that object-aligned and temporally persistent tokenization is a promising direction for scalable video generation, where reducing latent token counts is critical for efficient modeling. Our code for this work is available at https://github.com/phamleyennhi/tracktok.
• Abstract（参考訳）: 我々は、オブジェクト中心のトークンを生成する効率的なビデオトークン化フレームワークであるTrackTokを紹介した。 従来のパッチベースの、または既存の全体的トークン化器は、固定画像位置と結びついたトークンIDを生成する。 対照的に、我々の手法は、フレーム間の視覚的特徴を安定した意味単位に結合する時間的に永続的なオブジェクト中心表現を学習する。 これにより、よりコンパクトで連続的なビデオ表現が可能となり、高品質な合成に必要な意味構造を保ちながら、最先端のフローモデルによる下流生成モデルに必要なトークンの数を減らすことができる。 トークンエーザは、良好な品質効率のトレードオフを提供します。 TrackTokは、UCF-101データセット上のクラス条件生成FVDを8倍の遅延トークンとより優れたレイテンシで達成し、Kinetics-600のフレーム予測タスクにおける既存の1Dトークン化ベースラインを低トークン予算で上回ります。 これらの結果から,オブジェクトアライメントと時間的に永続的なトークン化はスケーラブルなビデオ生成において有望な方向であり,遅延トークン数の削減は効率的なモデリングに重要であることが示唆された。 この作業のコードはhttps://github.com/phamleyennhi/tracktok.comで公開しています。

関連論文リスト

• TrajTok: Learning Trajectory Tokens enables better Video Understanding [63.1260672430712]
  ビデオモデルのトークン化は、通常、パッチ化によって、過剰で冗長な数のトークンを生成する。 そこで我々は,ビデオモデルと完全に統合され,共にトレーニングされたビデオトークンモジュールであるTrajTokを提案する。 本稿では,前処理した視覚特徴量(TrajAdapter)の探索ヘッドとしてシームレスに統合できるか,特に長ビデオ推論において高い性能を持つ視覚言語モデル(TrajVLM)のアライメントコネクタとして利用できることを示す。
  論文  参考訳（メタデータ） (2026-02-26T09:15:34Z)
• VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
  最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。 Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
  本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。 本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。 提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
  論文  参考訳（メタデータ） (2025-03-20T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。