論文の概要: Seedance 1.0: Exploring the Boundaries of Video Generation Models

• arxiv url: http://arxiv.org/abs/2506.09113v1
• Date: Tue, 10 Jun 2025 17:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.814252
• Title: Seedance 1.0: Exploring the Boundaries of Video Generation Models
• Title（参考訳）: Seedance 1.0: ビデオ生成モデルの境界を探る
• Authors: Yu Gao, Haoyuan Guo, Tuyen Hoang, Weilin Huang, Lu Jiang, Fangyuan Kong, Huixia Li, Jiashi Li, Liang Li, Xiaojie Li, Xunsong Li, Yifu Li, Shanchuan Lin, Zhijie Lin, Jiawei Liu, Shu Liu, Xiaonan Nie, Zhiwu Qing, Yuxi Ren, Li Sun, Zhi Tian, Rui Wang, Sen Wang, Guoqiang Wei, Guohong Wu, Jie Wu, Ruiqi Xia, Fei Xiao, Xuefeng Xiao, Jiangqiao Yan, Ceyuan Yang, Jianchao Yang, Runkai Yang, Tao Yang, Yihang Yang, Zilyu Ye, Xuejiao Zeng, Yan Zeng, Heng Zhang, Yang Zhao, Xiaozheng Zheng, Peihao Zhu, Jiaxin Zou, Feilong Zuo,
• Abstract要約: Seedance 1.0は高性能で推論効率の良いビデオ基盤生成モデルである。 精度と意味のあるビデオキャプションを付加したマルチソースキュレーションデータを統合する。 Seedance 1.0は1080p解像度で5秒のビデオを生成することができる。
• 参考スコア（独自算出の注目度）: 71.26796999246068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Notable breakthroughs in diffusion modeling have propelled rapid improvements in video generation, yet current foundational model still face critical challenges in simultaneously balancing prompt following, motion plausibility, and visual quality. In this report, we introduce Seedance 1.0, a high-performance and inference-efficient video foundation generation model that integrates several core technical improvements: (i) multi-source data curation augmented with precision and meaningful video captioning, enabling comprehensive learning across diverse scenarios; (ii) an efficient architecture design with proposed training paradigm, which allows for natively supporting multi-shot generation and jointly learning of both text-to-video and image-to-video tasks. (iii) carefully-optimized post-training approaches leveraging fine-grained supervised fine-tuning, and video-specific RLHF with multi-dimensional reward mechanisms for comprehensive performance improvements; (iv) excellent model acceleration achieving ~10x inference speedup through multi-stage distillation strategies and system-level optimizations. Seedance 1.0 can generate a 5-second video at 1080p resolution only with 41.4 seconds (NVIDIA-L20). Compared to state-of-the-art video generation models, Seedance 1.0 stands out with high-quality and fast video generation having superior spatiotemporal fluidity with structural stability, precise instruction adherence in complex multi-subject contexts, native multi-shot narrative coherence with consistent subject representation.
• Abstract（参考訳）: 拡散モデリングにおける注目すべきブレークスルーは、ビデオ生成の急速な改善を助長してきたが、現在の基礎モデルは、プロンプト追従、動きの可視性、視覚的品質を同時にバランスさせることにおいて、重要な課題に直面している。 本稿では,高性能かつ推論効率のよいビデオ基盤生成モデルであるSeedance 1.0について紹介する。 一 精度及び有意義なビデオキャプションを付加したマルチソースデータキュレーションにより、多様なシナリオにまたがる総合的な学習を可能にすること。 i) マルチショット生成をネイティブにサポートし,テキスト・ツー・ビデオ・タスクとイメージ・ツー・ビデオの両タスクを共同で学習することのできる,学習パラダイムを提唱した効率的なアーキテクチャ設計手法である。 3【細粒度微調整を施した学習後アプローチ】多次元報酬機構を用いたビデオ特化RLHFによる総合的パフォーマンス改善 (4) 多段蒸留法とシステムレベルの最適化により, 約10倍の推算速度を達成できる優れたモデル加速器について検討した。 Seedance 1.0は1080p解像度で5秒のビデオを生成することができる。 現状の映像生成モデルと比較して、Seedance 1.0は、構造安定性に優れた時空間流動性、複雑な多目的コンテキストにおける高精度な命令順守、一貫した主題表現を伴うネイティブなマルチショット物語コヒーレンスを有する高品質で高速な映像生成で際立っている。

関連論文リスト

• DiVE: Efficient Multi-View Driving Scenes Generation Based on Video Diffusion Transformer [56.98400572837792]
  DiVEは高忠実で、時間的コヒーレントで、相互に一貫したマルチビュービデオを生成する。 これらの革新は総じて、最小品質の劣化を伴う2.62倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-04-28T09:20:50Z)
• SkyReels-V2: Infinite-length Film Generative Model [35.00453687783287]
  Infinite-length Film Generative Model である SkyReels-V2 を提案し,マルチモーダル大言語モデル(MLLM),マルチステージ事前学習,強化学習,拡散強制フレームワークを提案する。 我々は,基本映像生成のためのプログレッシブ・レゾリューション・プレトレーニングを確立し,その後4段階のポストトレーニング強化を行った。
  論文  参考訳（メタデータ） (2025-04-17T16:37:27Z)
• Raccoon: Multi-stage Diffusion Training with Coarse-to-Fine Curating Videos [15.781862060265519]
  CFC-VIDS-1Mは、体系的な粗いキュレーションパイプラインによって構築された高品質のビデオデータセットである。 我々は、空間的時間的注意機構を分離したトランスフォーマーベースのアーキテクチャであるRACCOONを開発した。
  論文  参考訳（メタデータ） (2025-02-28T18:56:35Z)
• Vchitect-2.0: Parallel Transformer for Scaling Up Video Diffusion Models [89.79067761383855]
  Vchitect-2.0は、大規模テキスト・ビデオ生成のためにビデオ拡散モデルをスケールアップするために設計された並列トランスフォーマーアーキテクチャである。 新たなマルチモーダル拡散ブロックを導入することで,テキスト記述と生成されたビデオフレームの整合性を実現する。 メモリと計算のボトルネックを克服するために,メモリ効率のトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-14T21:53:11Z)
• Making Every Frame Matter: Continuous Activity Recognition in Streaming Video via Adaptive Video Context Modeling [19.205142489726875]
  ビデオのアクティビティ認識は、ロボットやAIの具体化においてますます重要になっている。 適応型ビデオコンテキストモデリングにより,これらの問題を克服するための新しいシステムCARSを導入する。 当社のCARSは、一般的なエッジデバイス上で30FPS以上の速度で動作し、すべてのベースラインを1.2%から79.7%の精度で上回っている。
  論文  参考訳（メタデータ） (2024-10-19T05:50:00Z)
• xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
  xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。 VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。 DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T17:55:22Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。