論文の概要: HunyuanVideo: A Systematic Framework For Large Video Generative Models

• arxiv url: http://arxiv.org/abs/2412.03603v2
• Date: Fri, 06 Dec 2024 17:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 12:36:28.376471
• Title: HunyuanVideo: A Systematic Framework For Large Video Generative Models
• Title（参考訳）: HunyuanVideo: 大規模ビデオ生成モデルのためのシステマティックフレームワーク
• Authors: Weijie Kong, Qi Tian, Zijian Zhang, Rox Min, Zuozhuo Dai, Jin Zhou, Jiangfeng Xiong, Xin Li, Bo Wu, Jianwei Zhang, Kathrina Wu, Qin Lin, Junkun Yuan, Yanxin Long, Aladdin Wang, Andong Wang, Changlin Li, Duojun Huang, Fang Yang, Hao Tan, Hongmei Wang, Jacob Song, Jiawang Bai, Jianbing Wu, Jinbao Xue, Joey Wang, Kai Wang, Mengyang Liu, Pengyu Li, Shuai Li, Weiyan Wang, Wenqing Yu, Xinchi Deng, Yang Li, Yi Chen, Yutao Cui, Yuanbo Peng, Zhentao Yu, Zhiyu He, Zhiyong Xu, Zixiang Zhou, Zunnan Xu, Yangyu Tao, Qinglin Lu, Songtao Liu, Daquan Zhou, Hongfa Wang, Yong Yang, Di Wang, Yuhong Liu, Jie Jiang, Caesar Zhong,
• Abstract要約: HunyuanVideoは、革新的なオープンソースのビデオファンデーションモデルだ。 データキュレーション、高度なアーキテクチャ設計、プログレッシブモデルスケーリング、トレーニングが組み込まれている。 その結果,13億以上のパラメータを持つビデオ生成モデルの訓練に成功した。
• 参考スコア（独自算出の注目度）: 87.91097494877526
• License:
• Abstract: Recent advancements in video generation have significantly impacted daily life for both individuals and industries. However, the leading video generation models remain closed-source, resulting in a notable performance gap between industry capabilities and those available to the public. In this report, we introduce HunyuanVideo, an innovative open-source video foundation model that demonstrates performance in video generation comparable to, or even surpassing, that of leading closed-source models. HunyuanVideo encompasses a comprehensive framework that integrates several key elements, including data curation, advanced architectural design, progressive model scaling and training, and an efficient infrastructure tailored for large-scale model training and inference. As a result, we successfully trained a video generative model with over 13 billion parameters, making it the largest among all open-source models. We conducted extensive experiments and implemented a series of targeted designs to ensure high visual quality, motion dynamics, text-video alignment, and advanced filming techniques. According to evaluations by professionals, HunyuanVideo outperforms previous state-of-the-art models, including Runway Gen-3, Luma 1.6, and three top-performing Chinese video generative models. By releasing the code for the foundation model and its applications, we aim to bridge the gap between closed-source and open-source communities. This initiative will empower individuals within the community to experiment with their ideas, fostering a more dynamic and vibrant video generation ecosystem. The code is publicly available at https://github.com/Tencent/HunyuanVideo.
• Abstract（参考訳）: 近年のビデオ生成の進歩は、個人と産業の両方の日常生活に大きな影響を与えている。 しかし、主要なビデオ生成モデルはクローズドソースのままであり、業界能力と一般向けに利用可能なものの間に顕著なパフォーマンス差がある。 本稿では,HunyuanVideoについて紹介する。HunyuanVideoは,クローズドソースモデルに匹敵する,あるいは超えた映像生成性能を示す,革新的なオープンソースビデオ基盤モデルである。 HunyuanVideoには、データキュレーション、高度なアーキテクチャ設計、プログレッシブモデルスケーリングとトレーニング、大規模モデルのトレーニングと推論に適した効率的なインフラストラクチャなど、いくつかの重要な要素を統合する包括的なフレームワークが含まれている。 その結果,13億以上のパラメータを持つビデオ生成モデルのトレーニングに成功した。 我々は、高画質、モーションダイナミクス、テキスト・ビデオアライメント、高度な撮影技術を保証するために、広範囲な実験を行い、一連のターゲットデザインを実装した。 専門家による評価によると、HunyuanVideoは、Runway Gen-3、Luma 1.6、中国の3大ビデオ生成モデルなど、これまでの最先端のモデルより優れている。 ファンデーションモデルとそのアプリケーションのためのコードをリリースすることによって、クローズドソースとオープンソースコミュニティのギャップを埋めることを目指しています。 このイニシアチブによって、コミュニティ内の個人が自分たちのアイデアを実験し、よりダイナミックで活気あるビデオ生成エコシステムを育むことができる。 コードはhttps://github.com/Tencent/HunyuanVideoで公開されている。

関連論文リスト

• Movie Gen: A Cast of Media Foundation Models [133.41504332082667]
  高品質の1080pHDビデオを生成する基礎モデルのキャストであるMovie Genについて紹介する。 ユーザの画像に基づいて,高精度な命令ベースのビデオ編集やパーソナライズされたビデオの生成などの追加機能を示す。
  論文  参考訳（メタデータ） (2024-10-17T16:22:46Z)
• The Dawn of Video Generation: Preliminary Explorations with SORA-like Models [14.528428430884015]
  テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、ビデオ・トゥ・ビデオ(V2V)生成を含む高品質なビデオ生成は、コンテンツ作成においてかなりの重要性を持っている。 SORAのようなモデルでは、高解像度、より自然な動き、より良い視覚言語アライメント、コントロール可能性の向上といった高度なビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-10-07T17:35:10Z)
• ExVideo: Extending Video Diffusion Models via Parameter-Efficient Post-Tuning [36.378348127629195]
  ビデオ合成モデルのための新しいポストチューニング手法であるExVideoを提案する。 このアプローチは、現在のビデオ合成モデルの能力を向上し、時間的長期にわたってコンテンツを制作できるように設計されている。 当社のアプローチでは、40Kビデオからなるデータセット上でのトレーニングに15kのGPU時間しか必要とせず、オリジナルのフレーム数に対して最大5倍の価格で生成可能なモデル容量を拡大しています。
  論文  参考訳（メタデータ） (2024-06-20T09:18:54Z)
• PEEKABOO: Interactive Video Generation via Masked-Diffusion [16.27046318032809]
  モジュールベースのビデオ生成モデルにビデオ制御を組み込むための第1のソリューションを提案する。 Peekabooは、既存のビデオ生成モデルとシームレスに統合され、追加のトレーニングや推論オーバーヘッドを必要とせずに、コントロールを提供する。 我々の広範囲な質的および定量的評価により、PeekabooはmIoUのベースラインモデルよりも最大3.8倍改善していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-12-12T18:43:05Z)
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets [36.95521842177614]
  本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細 我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
  論文  参考訳（メタデータ） (2023-11-25T22:28:38Z)
• VideoCrafter1: Open Diffusion Models for High-Quality Video Generation [97.5767036934979]
  高品質ビデオ生成のための2つの拡散モデル、すなわち、テキスト・ツー・ビデオ(T2V)と画像・ツー・ビデオ(I2V)モデルを導入する。 T2Vモデルは与えられたテキスト入力に基づいてビデオを合成し、I2Vモデルは追加のイメージ入力を含む。 提案したT2Vモデルは,解像度が1024×576$のリアルで映像品質の高いビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-10-30T13:12:40Z)
• A Survey on Video Diffusion Models [103.03565844371711]
  AI生成コンテンツ(AIGC)の最近の波は、コンピュータビジョンでかなりの成功を収めている。 その印象的な生成能力のため、拡散モデルは徐々にGANと自動回帰変換器に基づく手法に取って代わられている。 本稿では,AIGC時代の映像拡散モデルについて概観する。
  論文  参考訳（メタデータ） (2023-10-16T17:59:28Z)
• Video Generation Beyond a Single Clip [76.5306434379088]
  ビデオ生成モデルは、実際のビデオの長さと比較して比較的短いビデオクリップしか生成できない。 多様なコンテンツや複数のイベントをカバーした長いビデオを生成するために,ビデオ生成プロセスを制御するための追加のガイダンスを提案する。 提案手法は、固定時間ウィンドウ内でリアルな映像を生成することに焦点を当てた、既存の映像生成の取り組みを補完するものである。
  論文  参考訳（メタデータ） (2023-04-15T06:17:30Z)
• Latent Video Diffusion Models for High-Fidelity Long Video Generation [58.346702410885236]
  低次元ラテント空間を用いた軽量映像拡散モデルを提案する。 また,1000フレーム以上の長編動画を生成できるように,遅延空間における階層的拡散も提案する。 我々のフレームワークは、以前の強力なベースラインよりもリアルで長いビデオを生成する。
  論文  参考訳（メタデータ） (2022-11-23T18:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。