論文の概要: Text2Story: Advancing Video Storytelling with Text Guidance

• arxiv url: http://arxiv.org/abs/2503.06310v1
• Date: Sat, 08 Mar 2025 19:04:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:49:05.141216
• Title: Text2Story: Advancing Video Storytelling with Text Guidance
• Title（参考訳）: Text2Story: テキストガイドによるビデオストーリーテリングの改善
• Authors: Taewon Kang, Divya Kothandaraman, Ming C. Lin,
• Abstract要約: 本稿では,自然な行動遷移と構造化された物語を伴うシームレスなビデオ生成を実現するための,新しいストーリーテリング手法を提案する。 我々は,短いクリップと拡張ビデオのギャップを埋めて,テキストからGenAI駆動のビデオ合成の新しいパラダイムを確立する。
• 参考スコア（独自算出の注目度）: 20.51001299249891
• License:
• Abstract: Generating coherent long-form video sequences from discrete input using only text prompts is a critical task in content creation. While diffusion-based models excel at short video synthesis, long-form storytelling from text remains largely unexplored and a challenge due to challenges pertaining to temporal coherency, preserving semantic meaning and action continuity across the video. We introduce a novel storytelling approach to enable seamless video generation with natural action transitions and structured narratives. We present a bidirectional time-weighted latent blending strategy to ensure temporal consistency between segments of the long-form video being generated. Further, our method extends the Black-Scholes algorithm from prompt mixing for image generation to video generation, enabling controlled motion evolution through structured text conditioning. To further enhance motion continuity, we propose a semantic action representation framework to encode high-level action semantics into the blending process, dynamically adjusting transitions based on action similarity, ensuring smooth yet adaptable motion changes. Latent space blending maintains spatial coherence between objects in a scene, while time-weighted blending enforces bidirectional constraints for temporal consistency. This integrative approach prevents abrupt transitions while ensuring fluid storytelling. Extensive experiments demonstrate significant improvements over baselines, achieving temporally consistent and visually compelling video narratives without any additional training. Our approach bridges the gap between short clips and extended video to establish a new paradigm in GenAI-driven video synthesis from text.
• Abstract（参考訳）: テキストプロンプトのみを用いた離散入力からコヒーレントな長ビデオシーケンスを生成することは、コンテンツ作成において重要な課題である。 拡散に基づくモデルは短いビデオ合成において優れているが、テキストからのロングフォームなストーリーテリングは、時間的コヒーレンシ、意味的意味の保存、ビデオ全体のアクション連続性といった課題のため、ほとんど探索されていない。 本稿では,自然な行動遷移と構造化された物語を伴うシームレスなビデオ生成を実現するための,新しいストーリーテリング手法を提案する。 本稿では,長ビデオのセグメント間の時間的一貫性を確保するために,双方向の時間重み付き潜時ブレンディング戦略を提案する。 さらに,本手法は,画像生成のための高速混合から映像生成まで,ブラックスコールズアルゴリズムを拡張し,構造化テキストコンディショニングによる動きの制御を可能にする。 動作継続性をさらに高めるために,ハイレベルな動作セマンティクスをブレンディングプロセスにエンコードし,動作類似性に基づいた遷移を動的に調整し,スムーズで適応可能な動作変化を保証するセマンティクス動作表現フレームワークを提案する。 遅延空間ブレンディングはシーン内のオブジェクト間の空間的コヒーレンスを維持し、時間重み付けブレンディングは時間的一貫性のために双方向の制約を強制する。 この統合的アプローチは、流動的なストーリーテリングを確保しながら、突然の遷移を防止する。 大規模な実験では、ベースラインよりも大幅に改善され、追加のトレーニングなしで時間的に一貫性があり視覚的に魅力的なビデオ物語が達成された。 我々は,短いクリップと拡張ビデオのギャップを埋めて,テキストからGenAI駆動のビデオ合成の新しいパラダイムを確立する。

関連論文リスト

• FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame Textual Guidance [47.88160253507823]
  我々は、既存のテキスト制御機構を改善する革新的なビデオジェネレータであるFancyVideoを紹介した。 CTGMは、TII(Temporal Information)、TAR(Temporal Affinity Refiner)、TFB(Temporal Feature Booster)をクロスアテンションの開始、中、末に組み込んでいる。
  論文  参考訳（メタデータ） (2024-08-15T14:47:44Z)
• Anchored Diffusion for Video Face Reenactment [17.343307538702238]
  比較的長くシームレスなビデオを合成するための新しい手法であるAnchored Diffusionを紹介する。 我々は、ランダムな非一様時間間隔でビデオシーケンスでモデルを訓練し、外部ガイダンスを介して時間情報を組み込む。 推論の際には、トランスフォーマーアーキテクチャを利用して拡散プロセスを修正し、共通のフレームに固定された一様でないシーケンスのバッチを生成する。
  論文  参考訳（メタデータ） (2024-07-21T13:14:17Z)
• Infinite Motion: Extended Motion Generation via Long Text Instructions [51.61117351997808]
  『無限運動』は、長文を長文から拡張運動生成に活用する新しいアプローチである。 我々のモデルの主な革新は、任意の長さのテキストを入力として受け入れることである。 テキストのタイムスタンプ設計を取り入れ、生成されたシーケンス内のローカルセグメントの正確な編集を可能にする。
  論文  参考訳（メタデータ） (2024-07-11T12:33:56Z)
• MAVIN: Multi-Action Video Generation with Diffusion Models via Transition Video Infilling [19.004339956475498]
  MAVINは、2つの動画をシームレスに接続し、結合的な統合シーケンスを形成するトランジションビデオを生成するように設計されている。 従来の品質基準を補完し,時間的コヒーレンスと滑らかさを評価するための新しい指標CLIP-RS(CLIP Relative Smoothness)を導入する。 馬とトラのシナリオに関する実験結果は、滑らかでコヒーレントなビデオ遷移を生成するMAVINの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-28T09:46:09Z)
• StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation [117.13475564834458]
  本稿では,一貫性自己注意という新たな自己注意計算手法を提案する。 提案手法を長距離ビデオ生成に拡張するために,新しい意味空間時間運動予測モジュールを導入する。 これら2つの新しいコンポーネントを統合することで、StoryDiffusionと呼ばれるフレームワークは、一貫した画像やビデオでテキストベースのストーリーを記述することができます。
  論文  参考訳（メタデータ） (2024-05-02T16:25:16Z)
• VidToMe: Video Token Merging for Zero-Shot Video Editing [100.79999871424931]
  本稿では,フレーム間で自己注意トークンをマージすることで,生成ビデオの時間的一貫性を高める新しい手法を提案する。 本手法は時間的コヒーレンスを改善し,自己アテンション計算におけるメモリ消費を削減する。
  論文  参考訳（メタデータ） (2023-12-17T09:05:56Z)
• Hierarchical Spatio-temporal Decoupling for Text-to-Video Generation [49.298187741014345]
  テクスト・ツー・ビデオ生成(T2V)の複雑さの増大につながる空間的内容と時間的ダイナミクスを相互に結合する現在の方法 ビデオの空間的要因と時間的要因を2つの視点から分離することで性能を向上する拡散モデルに基づくHiGenを提案する。
  論文  参考訳（メタデータ） (2023-12-07T17:59:07Z)
• SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction [93.26613503521664]
  本稿では、生成遷移と予測に焦点をあてた、短時間から長期のビデオ拡散モデルSEINEを提案する。 テキスト記述に基づく遷移を自動的に生成するランダムマスクビデオ拡散モデルを提案する。 我々のモデルは、コヒーレンスと視覚的品質を保証するトランジションビデオを生成する。
  論文  参考訳（メタデータ） (2023-10-31T17:58:17Z)
• Free-Bloom: Zero-Shot Text-to-Video Generator with LLM Director and LDM Animator [59.589919015669274]
  本研究では,データ・コスト効率を考慮したゼロショットテキスト・ビデオ生成に焦点を当てた。 本稿では,大規模言語モデル (LLM) をディレクタとして活用し,セマンティック・コヒーレンス・プロンプト・シーケンスを生成する新しいフリーブルームパイプラインを提案する。 また,共同ノイズサンプリング,ステップ・アウェア・アテンション・シフト,デュアルパスなど,逆処理におけるLCMの適応に対する注釈修正も提案する。
  論文  参考訳（メタデータ） (2023-09-25T19:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。