論文の概要: Enhancing Multi-Text Long Video Generation Consistency without Tuning: Time-Frequency Analysis, Prompt Alignment, and Theory

• arxiv url: http://arxiv.org/abs/2412.17254v1
• Date: Mon, 23 Dec 2024 03:56:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:33.681524
• Title: Enhancing Multi-Text Long Video Generation Consistency without Tuning: Time-Frequency Analysis, Prompt Alignment, and Theory
• Title（参考訳）: チューニング不要な複数テキスト長ビデオ生成一貫性の強化:時間周波数解析,プロンプトアライメント,理論
• Authors: Xingyao Li, Fengzhuo Zhang, Jiachun Pan, Yunlong Hou, Vincent Y. F. Tan, Zhuoran Yang,
• Abstract要約: 本稿では,単一または複数プロンプトで生成されたビデオの一貫性とコヒーレンスを高めるため,時間的注意強調アルゴリズム(TiARA)を提案する。 本手法は拡散モデルにおける周波数に基づく手法の第一種である理論的保証によって支持される。 複数のプロンプトが生成するビデオについては、プロンプト品質に影響を及ぼす重要な要因をさらに調査し、プロンプトブレンド(PromptBlend)という高度なビデオプロンプトパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 92.1714656167712
• License:
• Abstract: Despite the considerable progress achieved in the long video generation problem, there is still significant room to improve the consistency of the videos, particularly in terms of smoothness and transitions between scenes. We address these issues to enhance the consistency and coherence of videos generated with either single or multiple prompts. We propose the Time-frequency based temporal Attention Reweighting Algorithm (TiARA), which meticulously edits the attention score matrix based on the Discrete Short-Time Fourier Transform. Our method is supported by a theoretical guarantee, the first-of-its-kind for frequency-based methods in diffusion models. For videos generated by multiple prompts, we further investigate key factors affecting prompt interpolation quality and propose PromptBlend, an advanced prompt interpolation pipeline. The efficacy of our proposed method is validated via extensive experimental results, exhibiting consistent and impressive improvements over baseline methods. The code will be released upon acceptance.
• Abstract（参考訳）: 長いビデオ生成問題ではかなりの進歩があったが、特にシーン間の滑らかさや遷移に関して、ビデオの一貫性を改善する余地は依然として大きい。 これらの課題に対処し、単一のプロンプトまたは複数のプロンプトで生成されたビデオの一貫性とコヒーレンスを高める。 本稿では、離散短時間フーリエ変換に基づいて注意スコア行列を微妙に編集する時間周波数ベースの時間的注意再重み付けアルゴリズム(TiARA)を提案する。 本手法は拡散モデルにおける周波数に基づく手法の第一種である理論的保証によって支持される。 複数プロンプトで生成されたビデオに対しては,さらに,プロンプト補間品質に影響を及ぼす重要な要因について検討し,プロンプト補間パイプラインであるプロンプトブレンドを提案する。 提案手法の有効性を実験的に検証し, ベースライン法よりも一貫した, 印象的な改善が得られた。 コードは受理時にリリースされます。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Anchored Diffusion for Video Face Reenactment [17.343307538702238]
  比較的長くシームレスなビデオを合成するための新しい手法であるAnchored Diffusionを紹介する。 我々は、ランダムな非一様時間間隔でビデオシーケンスでモデルを訓練し、外部ガイダンスを介して時間情報を組み込む。 推論の際には、トランスフォーマーアーキテクチャを利用して拡散プロセスを修正し、共通のフレームに固定された一様でないシーケンスのバッチを生成する。
  論文  参考訳（メタデータ） (2024-07-21T13:14:17Z)
• MAVIN: Multi-Action Video Generation with Diffusion Models via Transition Video Infilling [19.004339956475498]
  MAVINは、2つの動画をシームレスに接続し、結合的な統合シーケンスを形成するトランジションビデオを生成するように設計されている。 従来の品質基準を補完し,時間的コヒーレンスと滑らかさを評価するための新しい指標CLIP-RS(CLIP Relative Smoothness)を導入する。 馬とトラのシナリオに関する実験結果は、滑らかでコヒーレントなビデオ遷移を生成するMAVINの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-28T09:46:09Z)
• Unsupervised Multi-modal Feature Alignment for Time Series Representation Learning [20.655943795843037]
  異なるモダリティから符号化された時系列表現の整合と結合に焦点を当てた革新的なアプローチを導入する。 複数のモーダルから特徴を融合させる従来の手法とは対照的に,提案手法は単一時系列エンコーダを保持することにより,ニューラルアーキテクチャを単純化する。 我々のアプローチは、様々な下流タスクにまたがる既存の最先端のURLメソッドよりも優れています。
  論文  参考訳（メタデータ） (2023-12-09T22:31:20Z)
• FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling [85.60543452539076]
  既存のビデオ生成モデルは、典型的には限られた数のフレームで訓練されており、推論中に高忠実度長ビデオを生成することができない。 本研究では,複数のテキストに条件付けされた長編ビデオを生成するためのテキスト駆動能力の拡張の可能性について検討する。 我々は,事前学習したビデオ拡散モデルの生成能力を高めるため,チューニング不要かつ時間効率のパラダイムであるFreeNoiseを提案する。
  論文  参考訳（メタデータ） (2023-10-23T17:59:58Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。 我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-27T16:38:52Z)
• Blind Video Temporal Consistency via Deep Video Prior [61.062900556483164]
  視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。 本手法は,一対のオリジナルビデオとプロセッシングビデオを直接トレーニングするのみである。 本稿では,Deep Video Priorを用いてビデオ上の畳み込みネットワークをトレーニングすることにより,時間的一貫性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-10-22T16:19:20Z)
• Exploring Spatial-Temporal Multi-Frequency Analysis for High-Fidelity and Temporal-Consistency Video Prediction [12.84409065286371]
  本稿では,マルチレベルウェーブレット解析に基づく映像予測ネットワークを提案し,空間的・時間的情報を統一的に扱う。 本モデルでは,最先端の作業に対する忠実度と時間的整合性に大きな改善が見られた。
  論文  参考訳（メタデータ） (2020-02-23T13:46:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。