Fugu-MT 論文翻訳(概要): VSTAR: Generative Temporal Nursing for Longer Dynamic Video Synthesis

論文の概要: VSTAR: Generative Temporal Nursing for Longer Dynamic Video Synthesis

arxiv url: http://arxiv.org/abs/2403.13501v1
Date: Wed, 20 Mar 2024 10:58:58 GMT
ステータス: 処理完了
システム内更新日: 2024-03-21 17:07:38.353076
Title: VSTAR: Generative Temporal Nursing for Longer Dynamic Video Synthesis
Title（参考訳）: VSTAR:より長いダイナミックビデオ合成のための時間看護
Authors: Yumeng Li, William Beluch, Margret Keuper, Dan Zhang, Anna Khoreva,
Abstract要約: 本稿では,時間的ダイナミクスの制御を改善するために,時間的時間的看護(GTN, Generative Temporal Nursing, GTN)の概念を導入する。提案手法が既存のオープンソースT2Vモデルよりも長めで視覚的に魅力的なビデオを生成する場合の優位性を実験的に示す。
参考スコア（独自算出の注目度）: 18.806249040835624
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite tremendous progress in the field of text-to-video (T2V) synthesis, open-sourced T2V diffusion models struggle to generate longer videos with dynamically varying and evolving content. They tend to synthesize quasi-static videos, ignoring the necessary visual change-over-time implied in the text prompt. At the same time, scaling these models to enable longer, more dynamic video synthesis often remains computationally intractable. To address this challenge, we introduce the concept of Generative Temporal Nursing (GTN), where we aim to alter the generative process on the fly during inference to improve control over the temporal dynamics and enable generation of longer videos. We propose a method for GTN, dubbed VSTAR, which consists of two key ingredients: 1) Video Synopsis Prompting (VSP) - automatic generation of a video synopsis based on the original single prompt leveraging LLMs, which gives accurate textual guidance to different visual states of longer videos, and 2) Temporal Attention Regularization (TAR) - a regularization technique to refine the temporal attention units of the pre-trained T2V diffusion models, which enables control over the video dynamics. We experimentally showcase the superiority of the proposed approach in generating longer, visually appealing videos over existing open-sourced T2V models. We additionally analyze the temporal attention maps realized with and without VSTAR, demonstrating the importance of applying our method to mitigate neglect of the desired visual change over time.
Abstract（参考訳）: テキスト・トゥ・ビデオ(T2V)合成の分野では非常に進歩しているにもかかわらず、オープンソースのT2V拡散モデルは、動的に変化し、進化するコンテンツを持つ長いビデオを生成するのに苦労している。彼らは、テキストプロンプトに暗示される必要な視覚的変化を無視して、準静的なビデオを合成する傾向がある。同時に、より長く、よりダイナミックなビデオ合成を可能にするためにこれらのモデルをスケールすることは、しばしば計算的に難解なままである。この課題に対処するために、我々は、時間的ダイナミクスの制御を改善し、より長いビデオの生成を可能にするために、推論中のハエの生成過程を変更することを目的として、生成時看護(GTN)の概念を導入する。 VSTARと呼ばれる2つの重要な成分からなるGTNの手法を提案する。 1)VSP(Video Synopsis Prompting) - LLMを利用したオリジナルのシングルプロンプトに基づくビデオ合成の自動生成。 2) 時間的注意規則化(TAR) - 事前学習したT2V拡散モデルの時間的注意単位を改良する正規化手法。提案手法が既存のオープンソースT2Vモデルよりも長めで視覚的に魅力的なビデオを生成する場合の優位性を実験的に示す。さらに,VSTARを使用せずに実現した時間的注意マップを解析し,所望の視覚的変化の無視を軽減するために本手法を適用することの重要性を実証した。

関連論文リスト

BroadWay: Boost Your Text-to-Video Generation Model in a Training-free Way [72.1984861448374]
そこで,BroadWayを提案する。BroadWayは,追加パラメータやメモリ増設,サンプリング時間を追加することなく,テキスト・ビデオ・ジェネレーションの品質を向上するためのトレーニング不要な手法である。具体的には、BroadWayは2つの主要コンポーネントから構成される: 1) 時間的自己誘導は、様々なデコーダブロック間の時間的注意マップ間の格差を減らし、生成されたビデオの構造的妥当性と時間的一貫性を改善する。
論文参考訳（メタデータ） (2024-10-08T17:56:33Z)
VideoTetris: Towards Compositional Text-to-Video Generation [45.395598467837374]
VideoTetrisは、合成T2V生成を可能にするフレームワークである。我々は, VideoTetrisがT2V生成において, 印象的な質的, 定量的な結果をもたらすことを示す。
論文参考訳（メタデータ） (2024-06-06T17:25:33Z)
Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
論文参考訳（メタデータ） (2024-03-18T17:59:58Z)
ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation [37.05422543076405]
Image-to-Video(I2V)生成は、初期フレーム(テキストプロンプトの他)を使用してビデオシーケンスを作成することを目的としている。既存の方法はしばしば、第1フレームから主題、背景、スタイルの整合性を維持するのに苦労する。本稿では,I2V生成における視覚的一貫性を高める拡散法であるConsistI2Vを提案する。
論文参考訳（メタデータ） (2024-02-06T19:08:18Z)
Hierarchical Spatio-temporal Decoupling for Text-to-Video Generation [49.298187741014345]
テクスト・ツー・ビデオ生成(T2V)の複雑さの増大につながる空間的内容と時間的ダイナミクスを相互に結合する現在の方法ビデオの空間的要因と時間的要因を2つの視点から分離することで性能を向上する拡散モデルに基づくHiGenを提案する。
論文参考訳（メタデータ） (2023-12-07T17:59:07Z)
FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling [85.60543452539076]
既存のビデオ生成モデルは、典型的には限られた数のフレームで訓練されており、推論中に高忠実度長ビデオを生成することができない。本研究では,複数のテキストに条件付けされた長編ビデオを生成するためのテキスト駆動能力の拡張の可能性について検討する。我々は,事前学習したビデオ拡散モデルの生成能力を高めるため,チューニング不要かつ時間効率のパラダイムであるFreeNoiseを提案する。
論文参考訳（メタデータ） (2023-10-23T17:59:58Z)
Dysen-VDM: Empowering Dynamics-aware Text-to-Video Diffusion with LLMs [112.39389727164594]
テキスト・ツー・ビデオ(T2V)合成は,最近出現した拡散モデル (DM) が,過去のアプローチよりも有望な性能を示したコミュニティで注目を集めている。既存の最先端のDMは高精細なビデオ生成を実現する能力があるが、ビデオ合成の要点である時間力学モデリングに関して重要な制限(例えば、アクション発生障害、粗雑なビデオ運動)に悩まされる。本研究では,高品位T2V生成のためのDMの映像ダイナミックスに対する意識向上について検討する。
論文参考訳（メタデータ） (2023-08-26T08:31:48Z)
DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
論文参考訳（メタデータ） (2023-05-23T17:57:09Z)
Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
論文参考訳（メタデータ） (2023-05-23T09:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。