論文の概要: Wan: Open and Advanced Large-Scale Video Generative Models

• arxiv url: http://arxiv.org/abs/2503.20314v1
• Date: Wed, 26 Mar 2025 08:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:20:30.059688
• Title: Wan: Open and Advanced Large-Scale Video Generative Models
• Title（参考訳）: Wan: オープンで高度なビデオ生成モデル
• Authors: WanTeam, :, Ang Wang, Baole Ai, Bin Wen, Chaojie Mao, Chen-Wei Xie, Di Chen, Feiwu Yu, Haiming Zhao, Jianxiao Yang, Jianyuan Zeng, Jiayu Wang, Jingfeng Zhang, Jingren Zhou, Jinkai Wang, Jixuan Chen, Kai Zhu, Kang Zhao, Keyu Yan, Lianghua Huang, Mengyang Feng, Ningyi Zhang, Pandeng Li, Pingyu Wu, Ruihang Chu, Ruili Feng, Shiwei Zhang, Siyang Sun, Tao Fang, Tianxing Wang, Tianyi Gui, Tingyu Weng, Tong Shen, Wei Lin, Wei Wang, Wei Wang, Wenmeng Zhou, Wente Wang, Wenting Shen, Wenyuan Yu, Xianzhong Shi, Xiaoming Huang, Xin Xu, Yan Kou, Yangyu Lv, Yifei Li, Yijing Liu, Yiming Wang, Yingya Zhang, Yitong Huang, Yong Li, You Wu, Yu Liu, Yulin Pan, Yun Zheng, Yuntao Hong, Yupeng Shi, Yutong Feng, Zeyinzi Jiang, Zhen Han, Zhi-Fan Wu, Ziyu Liu,
• Abstract要約: Wanは、ビデオ生成の境界を推し進めるために設計された、ビデオファンデーションモデルのスイートである。 我々は、ソースコードやすべてのモデルを含む一連のWanをオープンソース化し、ビデオ生成コミュニティの成長を促進することを目的としています。
• 参考スコア（独自算出の注目度）: 82.73750232976579
• License:
• Abstract: This report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation. Built upon the mainstream diffusion transformer paradigm, Wan achieves significant advancements in generative capabilities through a series of innovations, including our novel VAE, scalable pre-training strategies, large-scale data curation, and automated evaluation metrics. These contributions collectively enhance the model's performance and versatility. Specifically, Wan is characterized by four key features: Leading Performance: The 14B model of Wan, trained on a vast dataset comprising billions of images and videos, demonstrates the scaling laws of video generation with respect to both data and model size. It consistently outperforms the existing open-source models as well as state-of-the-art commercial solutions across multiple internal and external benchmarks, demonstrating a clear and significant performance superiority. Comprehensiveness: Wan offers two capable models, i.e., 1.3B and 14B parameters, for efficiency and effectiveness respectively. It also covers multiple downstream applications, including image-to-video, instruction-guided video editing, and personal video generation, encompassing up to eight tasks. Consumer-Grade Efficiency: The 1.3B model demonstrates exceptional resource efficiency, requiring only 8.19 GB VRAM, making it compatible with a wide range of consumer-grade GPUs. Openness: We open-source the entire series of Wan, including source code and all models, with the goal of fostering the growth of the video generation community. This openness seeks to significantly expand the creative possibilities of video production in the industry and provide academia with high-quality video foundation models. All the code and models are available at https://github.com/Wan-Video/Wan2.1.
• Abstract（参考訳）: このレポートは、ビデオ生成の境界を推し進めるために設計された、包括的でオープンなビデオファンデーションモデルであるWanを提示する。 主流の拡散トランスフォーマーパラダイムに基づいて構築されたWanは,新たなVAE,スケーラブルな事前学習戦略,大規模データキュレーション,自動評価指標など,一連のイノベーションを通じて,生成能力の大幅な進歩を実現しています。 これらのコントリビューションは、全体的なモデルの性能と汎用性を高めます。 リードパフォーマンス: Wanの14Bモデルは、数十億の画像とビデオからなる巨大なデータセットに基づいてトレーニングされ、データとモデルサイズの両方に関して、ビデオ生成のスケーリング法則を実証します。 既存のオープンソースモデルと、複数の内部および外部ベンチマークにまたがる最先端の商用ソリューションを一貫して上回り、明らかで重要なパフォーマンス上の優位性を示している。 包括性: Wanは効率と有効性のために2つの有能なモデル、すなわち1.3Bと14Bのパラメータを提供する。 また、イメージ・ツー・ビデオ、命令誘導ビデオ編集、最大8つのタスクを含むパーソナルビデオ生成など、複数のダウンストリームアプリケーションもカバーしている。 コンシューマグレード効率: 1.3Bモデルは例外的なリソース効率を示し、8.19GBのVRAMしか必要とせず、幅広いコンシューマグレードのGPUと互換性がある。 Openness: ソースコードやすべてのモデルを含む一連のWanをオープンソースとして公開し、ビデオ生成コミュニティの成長を促進することを目的としています。 このオープン性は、業界におけるビデオ制作の創造性を大幅に拡大し、高品質なビデオ基盤モデルによるアカデミアを提供することを目指している。 すべてのコードとモデルはhttps://github.com/Wan-Video/Wan2.1で公開されている。

関連論文リスト

• VideoWorld: Exploring Knowledge Learning from Unlabeled Videos [119.35107657321902]
  この研究は、深層生成モデルが視覚入力のみから複雑な知識を学習できるかどうかを考察する。 我々は、未ラベルのビデオデータに基づいて訓練された自動回帰ビデオ生成モデルであるVideoWorldを開発し、ビデオベースのGoとロボット制御タスクにおける知識獲得能力をテストする。
  論文  参考訳（メタデータ） (2025-01-16T18:59:10Z)
• HunyuanVideo: A Systematic Framework For Large Video Generative Models [82.4392082688739]
  HunyuanVideoは、革新的なオープンソースのビデオファンデーションモデルだ。 データキュレーション、高度なアーキテクチャ設計、プログレッシブモデルスケーリング、トレーニングが組み込まれている。 その結果,13億以上のパラメータを持つビデオ生成モデルの訓練に成功した。
  論文  参考訳（メタデータ） (2024-12-03T23:52:37Z)
• The Dawn of Video Generation: Preliminary Explorations with SORA-like Models [14.528428430884015]
  テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、ビデオ・トゥ・ビデオ(V2V)生成を含む高品質なビデオ生成は、コンテンツ作成においてかなりの重要性を持っている。 SORAのようなモデルでは、高解像度、より自然な動き、より良い視覚言語アライメント、コントロール可能性の向上といった高度なビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-10-07T17:35:10Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• ExVideo: Extending Video Diffusion Models via Parameter-Efficient Post-Tuning [36.378348127629195]
  ビデオ合成モデルのための新しいポストチューニング手法であるExVideoを提案する。 このアプローチは、現在のビデオ合成モデルの能力を向上し、時間的長期にわたってコンテンツを制作できるように設計されている。 当社のアプローチでは、40Kビデオからなるデータセット上でのトレーニングに15kのGPU時間しか必要とせず、オリジナルのフレーム数に対して最大5倍の価格で生成可能なモデル容量を拡大しています。
  論文  参考訳（メタデータ） (2024-06-20T09:18:54Z)
• PEEKABOO: Interactive Video Generation via Masked-Diffusion [16.27046318032809]
  モジュールベースのビデオ生成モデルにビデオ制御を組み込むための第1のソリューションを提案する。 Peekabooは、既存のビデオ生成モデルとシームレスに統合され、追加のトレーニングや推論オーバーヘッドを必要とせずに、コントロールを提供する。 我々の広範囲な質的および定量的評価により、PeekabooはmIoUのベースラインモデルよりも最大3.8倍改善していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-12T18:43:05Z)
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets [36.95521842177614]
  本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細 我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
  論文  参考訳（メタデータ） (2023-11-25T22:28:38Z)
• GPT4Video: A Unified Multimodal Large Language Model for lnstruction-Followed Understanding and Safety-Aware Generation [100.23111948079037]
  GPT4Videoは、ビデオ理解と生成の両方の能力で大規模言語モデルを強化する統一されたマルチモデルフレームワークである。 具体的には、安定拡散生成モデルと統合された命令追従型アプローチを開発し、映像生成シナリオを効果的かつ安全に扱うことを実証した。
  論文  参考訳（メタデータ） (2023-11-25T04:05:59Z)
• VideoCrafter1: Open Diffusion Models for High-Quality Video Generation [97.5767036934979]
  高品質ビデオ生成のための2つの拡散モデル、すなわち、テキスト・ツー・ビデオ(T2V)と画像・ツー・ビデオ(I2V)モデルを導入する。 T2Vモデルは与えられたテキスト入力に基づいてビデオを合成し、I2Vモデルは追加のイメージ入力を含む。 提案したT2Vモデルは,解像度が1024×576$のリアルで映像品質の高いビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-10-30T13:12:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。