論文の概要: AMD-Hummingbird: Towards an Efficient Text-to-Video Model

• arxiv url: http://arxiv.org/abs/2503.18559v2
• Date: Tue, 25 Mar 2025 02:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 10:43:36.620256
• Title: AMD-Hummingbird: Towards an Efficient Text-to-Video Model
• Title（参考訳）: AMD-Hummingbird:効率的なテキスト・ビデオモデルを目指して
• Authors: Takashi Isobe, He Cui, Dong Zhou, Mengmeng Ge, Dong Li, Emad Barsoum,
• Abstract要約: テキスト・トゥ・ビデオ(T2V)生成は、テキスト記述からリアルな映像を合成する能力において大きな注目を集めている。 以前の作業のほとんどは、現実のデプロイメントに適した、より小さく、より効率的なモデルの必要性を見越しながら、視覚的忠実さを優先している。 本稿では,Hummingbirdと呼ばれる軽量なT2Vフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.09360569154206
• License:
• Abstract: Text-to-Video (T2V) generation has attracted significant attention for its ability to synthesize realistic videos from textual descriptions. However, existing models struggle to balance computational efficiency and high visual quality, particularly on resource-limited devices, e.g.,iGPUs and mobile phones. Most prior work prioritizes visual fidelity while overlooking the need for smaller, more efficient models suitable for real-world deployment. To address this challenge, we propose a lightweight T2V framework, termed Hummingbird, which prunes existing models and enhances visual quality through visual feedback learning. Our approach reduces the size of the U-Net from 1.4 billion to 0.7 billion parameters, significantly improving efficiency while preserving high-quality video generation. Additionally, we introduce a novel data processing pipeline that leverages Large Language Models (LLMs) and Video Quality Assessment (VQA) models to enhance the quality of both text prompts and video data. To support user-driven training and style customization, we publicly release the full training code, including data processing and model training. Extensive experiments show that our method achieves a 31X speedup compared to state-of-the-art models such as VideoCrafter2, while also attaining the highest overall score on VBench. Moreover, our method supports the generation of videos with up to 26 frames, addressing the limitations of existing U-Net-based methods in long video generation. Notably, the entire training process requires only four GPUs, yet delivers performance competitive with existing leading methods. Hummingbird presents a practical and efficient solution for T2V generation, combining high performance, scalability, and flexibility for real-world applications.
• Abstract（参考訳）: テキスト・トゥ・ビデオ(T2V)生成は、テキスト記述からリアルな映像を合成する能力において大きな注目を集めている。 しかし、既存のモデルは、特にリソース制限されたデバイス、例えばiGPUや携帯電話で、計算効率と高い視覚的品質のバランスをとるのに苦労している。 以前の作業のほとんどは、現実のデプロイメントに適した、より小さく、より効率的なモデルの必要性を見越しながら、視覚的忠実さを優先している。 この課題に対処するため,Hummingbirdと呼ばれる軽量なT2Vフレームワークを提案する。 我々のアプローチは、U-Netのサイズを14億のパラメータから0.7億のパラメータに削減し、高品質のビデオ生成を保ちながら、効率を大幅に改善する。 さらに,Large Language Models (LLM) と Video Quality Assessment (VQA) モデルを活用する新たなデータ処理パイプラインを導入し,テキストプロンプトとビデオデータの品質を向上させる。 ユーザ主導のトレーニングとスタイルのカスタマイズをサポートするため、私たちは、データ処理やモデルトレーニングを含む完全なトレーニングコードを公開しています。 実験の結果,ビデオクラフト2のような最先端モデルと比較して31倍の高速化を実現し,VBenchの総合スコアも高いことがわかった。 さらに,提案手法は最大26フレームのビデオ生成をサポートし,従来のU-Net方式の長大なビデオ生成における限界に対処する。 特に、トレーニングプロセス全体では4つのGPUしか必要としないが、既存のリードメソッドと競合するパフォーマンスを提供する。 Hummingbirdは、T2V生成のための実用的で効率的なソリューションを提供し、現実世界のアプリケーションにハイパフォーマンス、スケーラビリティ、柔軟性を組み合わせる。

関連論文リスト

• Pretrained Image-Text Models are Secretly Video Captioners [38.66202065611397]
  画像ベースモデルにより、複数の特殊映像キャプションシステムよりも優れた性能が得られることが判明した。 適応モデルでは,MSRVTTとMSVDでは2位,VATEXでは3位であった。 資源最適化の観点から、このビデオキャプション研究は、モデルスケールの最適化、データ効率の最大化、強化学習の導入の3つの基本的な要素に焦点を当てている。
  論文  参考訳（メタデータ） (2025-02-19T01:53:03Z)
• Step-Video-T2V Technical Report: The Practice, Challenges, and Future of Video Foundation Model [133.01510927611452]
  我々は、30Bationalパラメータと最大204フレームの動画を生成する機能を備えた、テキストからビデオまでの事前トレーニングモデルであるStep-Video-T2Vを提案する。 Vari Autoencoder (Vari Autoencoder, Video-VAE) はビデオ生成タスク用に設計されており、16x16空間圧縮比と8x時間圧縮比を達成している。 Step-Video-T2Vのパフォーマンスは、新しいビデオ生成ベンチマークであるStep-Video-T2V-Evalで評価され、最先端のテキスト・ビデオの品質を示している。
  論文  参考訳（メタデータ） (2025-02-14T15:58:10Z)
• Vchitect-2.0: Parallel Transformer for Scaling Up Video Diffusion Models [89.79067761383855]
  Vchitect-2.0は、大規模テキスト・ビデオ生成のためにビデオ拡散モデルをスケールアップするために設計された並列トランスフォーマーアーキテクチャである。 新たなマルチモーダル拡散ブロックを導入することで,テキスト記述と生成されたビデオフレームの整合性を実現する。 メモリと計算のボトルネックを克服するために,メモリ効率のトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-14T21:53:11Z)
• STIV: Scalable Text and Image Conditioned Video Generation [84.2574247093223]
  本稿では,STIVという,シンプルでスケーラブルなテキスト画像条件付きビデオ生成手法を提案する。 本フレームワークは,テキストコンディショニングを取り入れつつ,フレーム交換による拡散変換器(DiT)に画像条件を統合する。 STIVは、ビデオ予測、フレーム、マルチビュー生成、長いビデオ生成など、様々なアプリケーションに容易に拡張できる。
  論文  参考訳（メタデータ） (2024-12-10T18:27:06Z)
• xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
  xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。 VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。 DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T17:55:22Z)
• LAMP: Learn A Motion Pattern for Few-Shot-Based Video Generation [44.220329202024494]
  我々は,1つのGPU上で816本の動画でテキストから画像への拡散モデルを学習する,数ショットベースのチューニングフレームワーク LAMP を提案する。 具体的には,コンテンツ生成のための既製のテキスト・ツー・イメージモデルを用いて,第1フレーム条件のパイプラインを設計する。 時間次元の特徴を捉えるため、T2Iモデルの事前訓練された2次元畳み込み層を、新しい時間空間運動学習層に拡張する。
  論文  参考訳（メタデータ） (2023-10-16T19:03:19Z)
• LAVIE: High-Quality Video Generation with Cascaded Latent Diffusion Models [133.088893990272]
  我々は、訓練済みのテキスト・ツー・イメージ(T2I)モデルをベースとして、高品質なテキスト・ツー・ビデオ生成モデル(T2V)を学習する。 本稿では,遅延拡散モデルを用いた統合ビデオ生成フレームワークLaVieを提案する。
  論文  参考訳（メタデータ） (2023-09-26T17:52:03Z)
• Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
  Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。 我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。 空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
  論文  参考訳（メタデータ） (2022-09-29T13:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。