論文の概要: One-Minute Video Generation with Test-Time Training

• arxiv url: http://arxiv.org/abs/2504.05298v1
• Date: Mon, 07 Apr 2025 17:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:10:54.407177
• Title: One-Minute Video Generation with Test-Time Training
• Title（参考訳）: テストタイムトレーニングによる1分間のビデオ生成
• Authors: Karan Dalal, Daniel Koceja, Gashon Hussein, Jiarui Xu, Yue Zhao, Youjin Song, Shihao Han, Ka Chun Cheung, Jan Kautz, Carlos Guestrin, Tatsunori Hashimoto, Sanmi Koyejo, Yejin Choi, Yu Sun, Xiaolong Wang,
• Abstract要約: テストタイムトレーニングレイヤは、テキストストーリーボードから1分間のビデオを生成する。 概念実証のため、TomとJerryの漫画に基づくデータセットをキュレートする。 有望ではあるが、その結果はまだ成果物が含まれており、おそらくは事前訓練された5Bモデルの能力が限られているためだろう。
• 参考スコア（独自算出の注目度）: 104.01642174728548
• License:
• Abstract: Transformers today still struggle to generate one-minute videos because self-attention layers are inefficient for long context. Alternatives such as Mamba layers struggle with complex multi-scene stories because their hidden states are less expressive. We experiment with Test-Time Training (TTT) layers, whose hidden states themselves can be neural networks, therefore more expressive. Adding TTT layers into a pre-trained Transformer enables it to generate one-minute videos from text storyboards. For proof of concept, we curate a dataset based on Tom and Jerry cartoons. Compared to baselines such as Mamba~2, Gated DeltaNet, and sliding-window attention layers, TTT layers generate much more coherent videos that tell complex stories, leading by 34 Elo points in a human evaluation of 100 videos per method. Although promising, results still contain artifacts, likely due to the limited capability of the pre-trained 5B model. The efficiency of our implementation can also be improved. We have only experimented with one-minute videos due to resource constraints, but the approach can be extended to longer videos and more complex stories. Sample videos, code and annotations are available at: https://test-time-training.github.io/video-dit
• Abstract（参考訳）: 現在、トランスフォーマーは、長時間のコンテキストにおいて自己注意層が非効率であるため、1分間のビデオを生成するのに苦労している。 隠れた状態が表現力に乏しいため、Mamba層のような代替手段は複雑なマルチシーンストーリーに苦しむ。 我々はテスト時間トレーニング(TTT)層を実験し、隠れ状態自体がニューラルネットワークであり、より表現力が高いことを示した。 TTTレイヤーをトレーニング済みのTransformerに追加することで、テキストストーリーボードから1分間のビデオを生成することができる。 概念実証のために、TomとJerryの漫画に基づいたデータセットをキュレートする。 Mamba~2、Gated DeltaNet、スライディングウインドウの注意層といったベースラインと比較すると、TT層は複雑なストーリーを伝えるコヒーレントなビデオを生成する。 有望ではあるが、その結果はまだ成果物が含まれており、おそらくは事前訓練された5Bモデルの能力が限られているためだろう。 実装の効率も改善できます。 リソース制約のため、私たちは1分間のビデオしか試していませんが、アプローチはより長いビデオやより複雑なストーリーに拡張することができます。 サンプルビデオ、コード、アノテーションは、https://test-time-training.github.io/ video-dit.comで入手できる。

関連論文リスト

• SwiftTry: Fast and Consistent Video Virtual Try-On with Diffusion Models [10.66567645920237]
  本研究の目的は,被服が時間的整合性を維持しつつ着ている新しい映像を合成することである。 我々は,映像仮想試着を条件付き映像塗装作業として再認識し,衣服を入力条件として機能させる。 具体的には,時間的注意層を取り入れた画像拡散モデルを構築し,時間的コヒーレンスを改善する。
  論文  参考訳（メタデータ） (2024-12-13T14:50:26Z)
• A Recipe for Scaling up Text-to-Video Generation with Text-free Videos [72.59262815400928]
  拡散ベースのテキスト・ツー・ビデオ世代は、過去1年で目覚ましい進歩をみせたが、それでもテキスト・ツー・画像世代には及ばない。 我々はTF-T2Vと呼ばれる新しいテキスト・ビデオ生成フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-12-25T16:37:39Z)
• Harvest Video Foundation Models via Efficient Post-Pretraining [67.30842563833185]
  本稿では,画像から映像基盤モデルを抽出する効率的なフレームワークを提案する。 提案手法は,入力ビデオパッチをランダムにドロップし,プレトレーニング後の入力テキストをマスクアウトすることで,直感的に簡単である。 提案手法は,プレトレーニング済みの映像基盤モデルに匹敵する,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-30T14:06:16Z)
• HierVL: Learning Hierarchical Video-Language Embeddings [108.77600799637172]
  HierVLは階層的なビデオ言語埋め込みであり、長期および短期の関連を同時に扱う。 クリップレベルとビデオレベルの両方でテキストと視覚のアライメントを促進する階層的なコントラストトレーニングの目標を導入する。 我々の階層的スキームは、SotAを達成した長期的なビデオ表現と同様に、その単一レベルよりも優れたクリップ表現をもたらす。
  論文  参考訳（メタデータ） (2023-01-05T21:53:19Z)
• Long Video Generation with Time-Agnostic VQGAN and Time-Sensitive Transformer [66.56167074658697]
  本稿では3D-VQGANとトランスフォーマーを使って数千フレームのビデオを生成する手法を提案する。 評価の結果,16フレームのビデオクリップでトレーニングしたモデルでは,多種多様でコヒーレントで高品質な長編ビデオが生成できることがわかった。 また,テキストと音声に時間情報を組み込むことで,有意義な長ビデオを生成するための条件付き拡張についても紹介する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:02Z)
• PGT: A Progressive Method for Training Models on Long Videos [45.935259079953255]
  メインストリーム方式は、生のビデオをクリップに分割し、不完全な時間的情報の流れをもたらす。 長文を扱う自然言語処理技術に着想を得て,マルコフ特性を満たすシリアルフラグメントとしてビデオを扱うことを提案する。 さまざまなモデルやデータセットで大幅なパフォーマンス改善をもたらすことを実証的に実証しています。
  論文  参考訳（メタデータ） (2021-03-21T06:15:20Z)
• Less is More: ClipBERT for Video-and-Language Learning via Sparse Sampling [98.41300980759577]
  ビデオと言語の学習に対する標準的なアプローチは、オフラインで抽出された高密度ビデオ機能から学習するニューラルネットワークを規定する。 本稿では,ビデオ・言語タスクに対して,手頃なエンドツーエンド学習を可能にする汎用フレームワークClipBERTを提案する。 6つのデータセットにおけるテキスト・ビデオ検索とビデオ質問応答の実験は、ClipBERTが既存の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2021-02-11T18:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。