論文の概要: SlowFast-VGen: Slow-Fast Learning for Action-Driven Long Video Generation

• arxiv url: http://arxiv.org/abs/2410.23277v2
• Date: Thu, 31 Oct 2024 18:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:34:14.895872
• Title: SlowFast-VGen: Slow-Fast Learning for Action-Driven Long Video Generation
• Title（参考訳）: SlowFast-VGen:アクション駆動ロングビデオ生成のためのスローファスト学習
• Authors: Yining Hong, Beide Liu, Maxine Wu, Yuanhao Zhai, Kai-Wei Chang, Linjie Li, Kevin Lin, Chung-Ching Lin, Jianfeng Wang, Zhengyuan Yang, Yingnian Wu, Lijuan Wang,
• Abstract要約: SlowFast-VGenはアクション駆動長ビデオ生成のための新しいデュアルスピード学習システムである。 本稿では,世界ダイナミクスのスローラーニングのための条件付きビデオ拡散モデルを提案する。 本研究では,内在学習ループを外在学習ループにシームレスに統合する低速学習ループアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 153.46240555355408
• License:
• Abstract: Human beings are endowed with a complementary learning system, which bridges the slow learning of general world dynamics with fast storage of episodic memory from a new experience. Previous video generation models, however, primarily focus on slow learning by pre-training on vast amounts of data, overlooking the fast learning phase crucial for episodic memory storage. This oversight leads to inconsistencies across temporally distant frames when generating longer videos, as these frames fall beyond the model's context window. To this end, we introduce SlowFast-VGen, a novel dual-speed learning system for action-driven long video generation. Our approach incorporates a masked conditional video diffusion model for the slow learning of world dynamics, alongside an inference-time fast learning strategy based on a temporal LoRA module. Specifically, the fast learning process updates its temporal LoRA parameters based on local inputs and outputs, thereby efficiently storing episodic memory in its parameters. We further propose a slow-fast learning loop algorithm that seamlessly integrates the inner fast learning loop into the outer slow learning loop, enabling the recall of prior multi-episode experiences for context-aware skill learning. To facilitate the slow learning of an approximate world model, we collect a large-scale dataset of 200k videos with language action annotations, covering a wide range of scenarios. Extensive experiments show that SlowFast-VGen outperforms baselines across various metrics for action-driven video generation, achieving an FVD score of 514 compared to 782, and maintaining consistency in longer videos, with an average of 0.37 scene cuts versus 0.89. The slow-fast learning loop algorithm significantly enhances performances on long-horizon planning tasks as well. Project Website: https://slowfast-vgen.github.io
• Abstract（参考訳）: 人間には相補的な学習システムがあり、これは、一般的な世界のダイナミクスのゆっくりとした学習を、新しい経験からエピソード記憶を高速に保存することで橋渡しする。 しかし、従来のビデオ生成モデルは、主に大量のデータを事前学習することでスローラーニングに重点を置いており、エピソード記憶に不可欠な高速ラーニングフェーズを見越している。 この監視は、長いビデオを生成するときに時間的に離れたフレーム間で不整合を引き起こす。 そこで本研究では,アクション駆動長ビデオ生成のための新しいデュアルスピード学習システムであるSlowFast-VGenを紹介する。 提案手法は,時間的LoRAモジュールに基づく推論時高速学習戦略とともに,世界ダイナミクスのスローラーニングのためのマスク付き条件付きビデオ拡散モデルを含む。 具体的には、高速学習プロセスは、局所的な入力と出力に基づいて時間的LoRAパラメータを更新し、そのパラメータにエピソードメモリを効率的に保存する。 さらに,内部の高速学習ループを外周の低速学習ループにシームレスに統合し,文脈認識スキル学習に先立つマルチエピソード体験のリコールを可能にする低速学習ループアルゴリズムを提案する。 近似世界モデルのスローラーニングを容易にするため,言語アクションアノテーションを用いた200kビデオの大規模データセットを収集し,幅広いシナリオをカバーした。 大規模な実験によると、SlowFast-VGenはアクション駆動ビデオ生成のさまざまな指標でベースラインを上回り、FVDスコアは782と比べて514で、長いビデオでは一貫性を維持し、平均0.37のシーンカットが0.89である。 遅い学習ループアルゴリズムは、長期計画タスクのパフォーマンスを著しく向上させる。 Project Webサイト: https://slowfast-vgen.github.io

関連論文リスト

• SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models [51.712700398020075]
  本研究では,空間的セマンティクスと長時間の時間的コンテキストを協調的にキャプチャできる学習自由ビデオ大言語モデル(LLM)を提案する。 これは、ビデオLLMの入力の2ストリームSlowFast設計を用いて、サンプルフレームの特徴を効果的に集約することで実現される。 実験の結果, SF-LLaVAは, 既存のトレーニング不要の手法よりも広い範囲の映像タスクにおいて優れていた。
  論文  参考訳（メタデータ） (2024-07-22T17:58:04Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [54.90226700939778]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)
• Just a Glimpse: Rethinking Temporal Information for Video Continual Learning [58.7097258722291]
  個別フレームと単一フレームに基づく効果的なビデオ連続学習のための新しい再生機構を提案する。 極端な記憶の制約の下では、ビデオの多様性は時間的情報よりも重要な役割を果たす。 提案手法は最先端性能を実現し,従来の最先端性能を最大21.49%向上させる。
  論文  参考訳（メタデータ） (2023-05-28T19:14:25Z)
• Long-Form Video-Language Pre-Training with Multimodal Temporal Contrastive Learning [39.80936685227549]
  大規模ビデオ言語事前学習では、ビデオ言語理解タスクが大幅に改善されている。 我々は、VILA(Long-Form VIdeo-LAnguage Pre-Training Model)を導入し、大規模な長文ビデオおよび段落データセットでトレーニングする。 我々は、7つの下流の長文ビデオ言語理解タスクでモデルを微調整し、新しい最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-12T09:08:27Z)
• Frame-wise Action Representations for Long Videos via Sequence Contrastive Learning [44.412145665354736]
  本稿では,フレームワイドな行動表現を学習するための,新しいコントラッシブな行動表現学習フレームワークを提案する。 自己教師型学習の最近の進歩に触発されて,2つの相関する視点に適用した新しいシーケンス・コントラッシブ・ロス(SCL)を提案する。 提案手法は,映像アライメントや細かなフレーム検索作業において,優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-28T17:59:54Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)
• PGT: A Progressive Method for Training Models on Long Videos [45.935259079953255]
  メインストリーム方式は、生のビデオをクリップに分割し、不完全な時間的情報の流れをもたらす。 長文を扱う自然言語処理技術に着想を得て,マルコフ特性を満たすシリアルフラグメントとしてビデオを扱うことを提案する。 さまざまなモデルやデータセットで大幅なパフォーマンス改善をもたらすことを実証的に実証しています。
  論文  参考訳（メタデータ） (2021-03-21T06:15:20Z)
• RSPNet: Relative Speed Perception for Unsupervised Video Representation Learning [100.76672109782815]
  本研究では,未ラベル映像のみから動作特徴と外観特徴の両方を学習するための教師なし映像表現学習について検討する。 動作と外観の両方をうまくモデル化するために、適切な自己指導タスクを構築することは困難である。 再生速度を知覚し、2つのビデオクリップ間の相対速度をラベルとして利用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T16:42:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。