論文の概要: SkyReels-A2: Compose Anything in Video Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2504.02436v1
- Date: Thu, 03 Apr 2025 09:50:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-04 12:56:30.327068
- Title: SkyReels-A2: Compose Anything in Video Diffusion Transformers
- Title（参考訳）: SkyReels-A2:ビデオ拡散変換器の合成
- Authors: Zhengcong Fei, Debang Li, Di Qiu, Jiahua Wang, Yikun Dou, Rui Wang, Jingtao Xu, Mingyuan Fan, Guibin Chen, Yang Li, Yahui Zhou,
- Abstract要約: 本稿では、任意の視覚要素を合成ビデオに組み込むことができる制御可能なビデオ生成フレームワークSkyReels-A2を提案する。
このタスク要素をビデオ(E2V)と呼び、各参照要素の忠実さを保ち、シーンのコヒーレントな構成を確保し、自然な出力を達成することが主な課題である。
本稿では,多要素表現を生成プロセスに注入し,要素固有の一貫性とグローバルコヒーレンスとテキストアライメントのバランスをとる,新しい画像-テキスト共同埋め込みモデルを提案する。
- 参考スコア（独自算出の注目度）: 27.324119455991926
- License:
- Abstract: This paper presents SkyReels-A2, a controllable video generation framework capable of assembling arbitrary visual elements (e.g., characters, objects, backgrounds) into synthesized videos based on textual prompts while maintaining strict consistency with reference images for each element. We term this task elements-to-video (E2V), whose primary challenges lie in preserving the fidelity of each reference element, ensuring coherent composition of the scene, and achieving natural outputs. To address these, we first design a comprehensive data pipeline to construct prompt-reference-video triplets for model training. Next, we propose a novel image-text joint embedding model to inject multi-element representations into the generative process, balancing element-specific consistency with global coherence and text alignment. We also optimize the inference pipeline for both speed and output stability. Moreover, we introduce a carefully curated benchmark for systematic evaluation, i.e, A2 Bench. Experiments demonstrate that our framework can generate diverse, high-quality videos with precise element control. SkyReels-A2 is the first open-source commercial grade model for the generation of E2V, performing favorably against advanced closed-source commercial models. We anticipate SkyReels-A2 will advance creative applications such as drama and virtual e-commerce, pushing the boundaries of controllable video generation.
- Abstract（参考訳）: 本稿では、任意の視覚要素(文字、オブジェクト、背景など)をテキストプロンプトに基づいて合成ビデオに組み込むことができ、各要素の参照画像との厳密な整合性を維持しつつ、制御可能なビデオ生成フレームワークであるSkyReels-A2を提案する。
このタスク要素をビデオ(E2V)と呼び、各参照要素の忠実さを保ち、シーンのコヒーレントな構成を確保し、自然な出力を達成することが主な課題である。
これらの問題に対処するために、我々はまず、モデルトレーニングのためのプロンプト参照ビデオ三脚を構築するための包括的なデータパイプラインを設計する。
次に,多要素表現を生成プロセスに注入し,大域的コヒーレンスとテキストアライメントとの整合性をバランスさせる,新しい画像テキスト共同埋め込みモデルを提案する。
また、速度と出力の安定性の両方に推論パイプラインを最適化する。
さらに,本研究では,A2 Benchという,系統評価のための厳格なベンチマークを導入する。
実験により、我々のフレームワークは、精密な要素制御により、多種多様な高品質なビデオを生成することができることを示した。
SkyReels-A2は、E2V生成のための最初のオープンソース商用グレードモデルであり、高度なクローズドソース商用モデルに対して好意的に機能する。
SkyReels-A2は、ドラマや仮想eコマースなどのクリエイティブな応用を推し進め、制御可能なビデオ生成の境界を押し進めることを期待している。
関連論文リスト
- BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations [82.94002870060045]
既存のビデオ生成モデルは、複雑なテキストプロンプトに従い、複数のオブジェクトを合成するのに苦労する。
我々は,BlobGEN-Vidというブロブグラウンドビデオ拡散モデルを開発し,ユーザがオブジェクトの動きを制御し,細かいオブジェクトの外観を制御できるようにする。
U-NetとDiTをベースとした動画拡散モデルに基づいてBlobGEN-Vidを構築する。
論文 参考訳（メタデータ） (2025-01-13T19:17:06Z) - VAST 1.0: A Unified Framework for Controllable and Consistent Video Generation [48.318567065609216]
VAST(Video As Storyboard from Text)は、テキスト記述から高品質なビデオを生成するためのフレームワークである。
映像生成からテキスト理解を分離することにより、VASTは主題のダイナミクスやシーン構成を正確に制御できる。
VBenchベンチマークの実験では、VASTは視覚的品質とセマンティック表現の両方において、既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-12-21T15:59:07Z) - InTraGen: Trajectory-controlled Video Generation for Object Interactions [100.79494904451246]
InTraGenは、オブジェクトインタラクションシナリオのトラジェクトリベースの生成を改善するパイプラインである。
その結果,視覚的忠実度と定量的性能の両面での改善が示された。
論文 参考訳（メタデータ） (2024-11-25T14:27:50Z) - VideoTetris: Towards Compositional Text-to-Video Generation [45.395598467837374]
VideoTetrisは、合成T2V生成を可能にするフレームワークである。
我々は, VideoTetrisがT2V生成において, 印象的な質的, 定量的な結果をもたらすことを示す。
論文 参考訳（メタデータ） (2024-06-06T17:25:33Z) - ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation [37.05422543076405]
Image-to-Video(I2V)生成は、初期フレーム(テキストプロンプトの他)を使用してビデオシーケンスを作成することを目的としている。
既存の方法はしばしば、第1フレームから主題、背景、スタイルの整合性を維持するのに苦労する。
本稿では,I2V生成における視覚的一貫性を高める拡散法であるConsistI2Vを提案する。
論文 参考訳（メタデータ） (2024-02-06T19:08:18Z) - E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳（メタデータ） (2024-01-16T05:10:50Z) - DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot
Text-to-Video Generation [37.25815760042241]
本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。
拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。
実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
論文 参考訳（メタデータ） (2023-05-23T17:57:09Z) - Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。
我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。
空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
論文 参考訳（メタデータ） (2022-09-29T13:59:46Z) - Make It Move: Controllable Image-to-Video Generation with Text
Descriptions [69.52360725356601]
TI2Vタスクは、静的画像とテキスト記述からビデオを生成することを目的としている。
これらの課題に対処するために,革新的なアンカー構造を持つモーションアンカー型ビデオGEnerator (MAGE) を提案する。
データセットで行った実験は、MAGEの有効性を検証するとともに、TI2Vタスクの魅力を示す。
論文 参考訳（メタデータ） (2021-12-06T07:00:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。