論文の概要: Efficient Long Video Tokenization via Coordinate-based Patch Reconstruction

• arxiv url: http://arxiv.org/abs/2411.14762v2
• Date: Tue, 26 Nov 2024 14:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:37:23.908417
• Title: Efficient Long Video Tokenization via Coordinate-based Patch Reconstruction
• Title（参考訳）: コーディネート型パッチ再構成による高精細化
• Authors: Huiwon Jang, Sihyun Yu, Jinwoo Shin, Pieter Abbeel, Younggyo Seo,
• Abstract要約: CoordTokは、座標ベースの表現から入力ビデオの対応するパッチへのマッピングを学ぶビデオトークンである。 CoordTokは、ビデオを分解された三面体表現にエンコードし、ランダムにサンプリングされた$(x,y,t)$座標に対応するパッチを再構築する。
• 参考スコア（独自算出の注目度）: 93.69757398746017
• License:
• Abstract: Efficient tokenization of videos remains a challenge in training vision models that can process long videos. One promising direction is to develop a tokenizer that can encode long video clips, as it would enable the tokenizer to leverage the temporal coherence of videos better for tokenization. However, training existing tokenizers on long videos often incurs a huge training cost as they are trained to reconstruct all the frames at once. In this paper, we introduce CoordTok, a video tokenizer that learns a mapping from coordinate-based representations to the corresponding patches of input videos, inspired by recent advances in 3D generative models. In particular, CoordTok encodes a video into factorized triplane representations and reconstructs patches that correspond to randomly sampled $(x,y,t)$ coordinates. This allows for training large tokenizer models directly on long videos without requiring excessive training resources. Our experiments show that CoordTok can drastically reduce the number of tokens for encoding long video clips. For instance, CoordTok can encode a 128-frame video with 128$\times$128 resolution into 1280 tokens, while baselines need 6144 or 8192 tokens to achieve similar reconstruction quality. We further show that this efficient video tokenization enables memory-efficient training of a diffusion transformer that can generate 128 frames at once.
• Abstract（参考訳）: ビデオの効率的なトークン化は、長いビデオを処理するビジョンモデルを訓練する上で依然として課題である。 有望な方向性の1つは、長いビデオクリップをエンコードできるトークンライザを開発することである。 しかし、長いビデオで既存のトークンをトレーニングすると、一度にすべてのフレームを再構築するように訓練されるため、大きなトレーニングコストが発生することが多い。 本稿では,座標に基づく表現から対応する入力ビデオのパッチへのマッピングを学習するビデオトークンCoordTokを紹介し,最近の3次元生成モデルの発展に触発された。 特にCoordTokは、ビデオを分解された三面体表現にエンコードし、ランダムにサンプリングされた$(x,y,t)$座標に対応するパッチを再構成する。 これにより、過剰なトレーニングリソースを必要とせずに、長いビデオ上で大きなトークン処理モデルをトレーニングすることができる。 実験の結果,CoordTokは長いビデオクリップをエンコードするトークンの数を劇的に削減できることがわかった。 例えば、CoordTokは128フレームのビデオを128$\times$128の解像度で1280のトークンにエンコードできる。 さらに,この効率的なビデオトークン化により,一度に128フレームを生成できる拡散変圧器のメモリ効率を向上できることを示す。

関連論文リスト

• Extending Video Masked Autoencoders to 128 frames [75.01251612160829]
  ビデオ理解は、自己指導型事前学習目標による強力なパフォーマンスを示す最近のビデオファンデーションモデルにおいて大きな進歩をみせている。 しかし、MAE事前学習を利用した以前の研究の大部分は、ハードウェアメモリと、メモリ集約型の自己保持復号化によるビデオ長の低下により、比較的短いビデオ表現(長さ16 / 32 フレーム)に重点を置いていた。 より長いビデオシーケンス(128フレーム)のトレーニングが可能で、より一般的なランダムよりも優れたパフォーマンスが得られるトークンの優先順位付けのための効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-20T20:00:38Z)
• ElasticTok: Adaptive Tokenization for Image and Video [109.75935878130582]
  我々は、フレームを可変数のトークンに適応的にエンコードする、事前のフレームを条件付けするElasticTokを紹介する。 推論中、ElasticTokは必要に応じてトークンを動的に割り当てる。 画像とビデオに対する評価は,トークンの有効利用におけるアプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-10-10T20:54:15Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• TESTA: Temporal-Spatial Token Aggregation for Long-form Video-Language Understanding [20.16000249533665]
  TESTAは、似たようなフレームを適応的に集約することで、ビデオセマンティクスを凝縮する。 TESTAに基づいて,各ビデオブロックに分割した時空トークン集約モジュールを備えた事前学習ビデオ言語モデルを導入する。 段落間検索と長文ビデオQAタスクのための5つのデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-10-29T16:25:32Z)
• UMIFormer: Mining the Correlations between Similar Tokens for Multi-View 3D Reconstruction [9.874357856580447]
  非構造化多重画像(UMIFormer)のためのトランスフォーマネットワークを提案する。 これは、切り離されたビュー内エンコーディングのためのトランスフォーマーブロックと、トークンの修正のために設計されたブロックを利用する。 様々な分岐から取得した全てのトークンは、固定サイズのコンパクト表現に圧縮される。
  論文  参考訳（メタデータ） (2023-02-27T17:27:45Z)
• Phenaki: Variable Length Video Generation From Open Domain Textual Description [21.610541668826006]
  フェナキ(Phenaki)は、一連のテキストプロンプトを与えられたリアルなビデオ合成が可能なモデルである。 ビデオ表現を学習する新しいモデルは、ビデオを離散トークンの小さな表現に圧縮する。 私たちの知る限りでは、論文が時間変化プロンプトからビデオを生成するのは今回が初めてです。
  論文  参考訳（メタデータ） (2022-10-05T17:18:28Z)
• Learning Trajectory-Aware Transformer for Video Super-Resolution [50.49396123016185]
  ビデオ超解像は、高解像度(HR)フレームを低解像度(LR)フレームから復元することを目的としている。 既存のアプローチは通常、隣接する限られたフレームからビデオフレームを並べて集約する。 ビデオ超解像用トランスフォーマー(TTVSR)を提案する。
  論文  参考訳（メタデータ） (2022-04-08T03:37:39Z)
• VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning [82.09856883441044]
  ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。 空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。 また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
  論文  参考訳（メタデータ） (2021-06-21T16:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。