論文の概要: Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model

• arxiv url: http://arxiv.org/abs/2504.08685v2
• Date: Mon, 05 May 2025 03:31:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 14:44:44.029883
• Title: Seaweed-7B: Cost-Effective Training of Video Generation Foundation Model
• Title（参考訳）: Seaweed-7B:ビデオ生成基礎モデルの費用効果訓練
• Abstract要約: 本技術報告は,映像生成基盤モデルをトレーニングするための費用効率のよい戦略を提示する。 約70億のパラメータを持つ中規模の研究モデルであるSeaweed-7Bを,665,000 H100 GPU時間を用いてスクラッチからトレーニングした。 適度な計算資源で訓練されているにもかかわらず、Seaweed-7Bは高い競争力を発揮している。
• 参考スコア（独自算出の注目度）: 90.87533354462477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This technical report presents a cost-efficient strategy for training a video generation foundation model. We present a mid-sized research model with approximately 7 billion parameters (7B) called Seaweed-7B trained from scratch using 665,000 H100 GPU hours. Despite being trained with moderate computational resources, Seaweed-7B demonstrates highly competitive performance compared to contemporary video generation models of much larger size. Design choices are especially crucial in a resource-constrained setting. This technical report highlights the key design decisions that enhance the performance of the medium-sized diffusion model. Empirically, we make two observations: (1) Seaweed-7B achieves performance comparable to, or even surpasses, larger models trained on substantially greater GPU resources, and (2) our model, which exhibits strong generalization ability, can be effectively adapted across a wide range of downstream applications either by lightweight fine-tuning or continue training. See the project page at https://seaweed.video/
• Abstract（参考訳）: 本技術報告は,映像生成基盤モデルをトレーニングするための費用効率のよい戦略を提示する。 約70億のパラメータ (7B) を持つ中規模の研究モデルであるSeaweed-7Bを,665,000 H100 GPU時間を用いてスクラッチからトレーニングした。 適度な計算資源で訓練されているにもかかわらず、Seaweed-7Bは、より大規模な現代のビデオ生成モデルと比較して非常に競争力のある性能を示している。 リソース制約のある環境では、設計の選択が特に重要です。 本技術報告では, 中規模拡散モデルの性能向上に寄与する設計決定について述べる。 実証的な結果として,(1)Seaweed-7Bは,GPUリソースの大幅な向上を図った大規模モデルに匹敵する,あるいは超えた性能を実現し,(2)強力な一般化能力を示すモデルは,軽量な微調整や継続訓練によって,幅広い下流アプリケーションに効果的に適用できる。 プロジェクトページはhttps://seaweed.video/にある。

関連論文リスト

• SimpleGVR: A Simple Baseline for Latent-Cascaded Video Super-Resolution [55.14432034345353]
  後続の超解像モデルの設計原理について検討し,その設計原理について検討する。 まず、ベースモデルの出力特性をよりよく模倣し、VSRモデルと上流ジェネレータとの整合性を確保するための2つのトレーニングペアを生成する方法を提案する。 第2に,(1)時間ステップサンプリング戦略,(2)低分解能(LR)入力に対する雑音増強効果の系統的解析を通じて,VSRモデル行動に対する批判的洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-24T17:57:26Z)
• Wan: Open and Advanced Large-Scale Video Generative Models [82.73750232976579]
  Wanは、ビデオ生成の境界を推し進めるために設計された、ビデオファンデーションモデルのスイートである。 我々は、ソースコードやすべてのモデルを含む一連のWanをオープンソース化し、ビデオ生成コミュニティの成長を促進することを目的としています。
  論文  参考訳（メタデータ） (2025-03-26T08:25:43Z)
• Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs [96.68469559192846]
  2つの異なる大きさのMoE大言語モデル(LLM)を提示する。 Ling-Liteは168億のパラメータと275億のアクティベートパラメータを持ち、Ling-Plusは2900億のパラメータと288億のアクティベートパラメータを持っている。 本稿では,(1)モデルアーキテクチャとトレーニングプロセスの最適化,(2)トレーニング異常処理の洗練,(3)モデル評価効率の向上のための革新的な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T04:43:39Z)
• TinyLLaVA-Video: Towards Smaller LMMs for Video Understanding with Group Resampler [10.92767902813594]
  約3.6Bパラメータを持つ軽量で強力なビデオ理解モデルであるTinyLLaVA-Videoを紹介した。 我々の設計の基盤はビデオレベルのグループ再サンプリングであり、ビデオレベルの視覚トークン数を著しく削減し、制御する新しいメカニズムである。 TinyLLaVA-Videoは例外的な効率を示し、8A100-40GのGPUで1日間のトレーニングしか必要としない。
  論文  参考訳（メタデータ） (2025-01-26T13:10:12Z)
• Improving Video Generation with Human Feedback [81.48120703718774]
  ビデオ生成は大きな進歩を遂げているが、動画とプロンプト間の不規則な動きや不一致といった問題が続いている。 我々は、人間のフィードバックを利用してこれらの問題を緩和し、ビデオ生成モデルを洗練する体系的なパイプラインを開発する。 多次元ビデオ報酬モデルであるVideoRewardを導入し、アノテーションと様々なデザイン選択が報奨効果に与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-23T18:55:41Z)
• Apollo: An Exploration of Video Understanding in Large Multimodal Models [65.06400672040836]
  本稿では,大規模マルチモーダルモデルにおいて映像理解を効果的に推進する要因を明らかにする研究について述べる。 われわれのモデルは、1時間の動画を効率よく知覚でき、Apollo-3Bは、LongVideoBenchの55.1で、既存の7ドルBのモデルよりも優れている。 Apollo-7B は 7B LMM に対して MLVU では 70.9 、 Video-MME では 63.3 である。
  論文  参考訳（メタデータ） (2024-12-13T18:53:24Z)
• HunyuanVideo: A Systematic Framework For Large Video Generative Models [82.4392082688739]
  HunyuanVideoは、革新的なオープンソースのビデオファンデーションモデルだ。 データキュレーション、高度なアーキテクチャ設計、プログレッシブモデルスケーリング、トレーニングが組み込まれている。 その結果,13億以上のパラメータを持つビデオ生成モデルの訓練に成功した。
  論文  参考訳（メタデータ） (2024-12-03T23:52:37Z)
• The Dawn of Video Generation: Preliminary Explorations with SORA-like Models [14.528428430884015]
  テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、ビデオ・トゥ・ビデオ(V2V)生成を含む高品質なビデオ生成は、コンテンツ作成においてかなりの重要性を持っている。 SORAのようなモデルでは、高解像度、より自然な動き、より良い視覚言語アライメント、コントロール可能性の向上といった高度なビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-10-07T17:35:10Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• Asymmetric Masked Distillation for Pre-Training Small Foundation Models [52.56257450614992]
  自己教師型基礎モデルは、マスク付きオートエンコーディングの事前学習パラダイムのおかげで、コンピュータビジョンにおいて大きな可能性を秘めている。 本稿では、下流タスクに効率的に適応できる比較的小さな視覚変換器モデルを事前学習することに焦点を当てる。 自動符号化による比較的小さなモデルの事前学習のための新しい非対称マスク蒸留(AMD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-06T14:44:34Z)
• DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale [27.684722514336546]
  DeepSpeedライブラリの一部として,エンドツーエンドのMoEトレーニングおよび推論ソリューションであるDeepSpeed-MoEを紹介する。 DeepSpeed-MoEは、高品質の高密度モデルに比べて最大4.5倍高速で9倍の推論が可能な大規模なMoEモデルを提供するために、前例のないスケールと効率を提供する。
  論文  参考訳（メタデータ） (2022-01-14T18:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。