論文の概要: ModelGrow: Continual Text-to-Video Pre-training with Model Expansion and Language Understanding Enhancement

• arxiv url: http://arxiv.org/abs/2412.18966v1
• Date: Wed, 25 Dec 2024 18:58:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:29:21.366309
• Title: ModelGrow: Continual Text-to-Video Pre-training with Model Expansion and Language Understanding Enhancement
• Title（参考訳）: ModelGrow: モデル拡張と言語理解強化による連続的テキスト・ビデオ事前学習
• Authors: Zhefan Rao, Liya Ji, Yazhou Xing, Runtao Liu, Zhaoyang Liu, Jiaxin Xie, Ziqiao Peng, Yingqing He, Qifeng Chen,
• Abstract要約: 本研究は,テキスト・ビデオ・モデルの連続的な事前学習について考察する。 私たちはこのタスクを、モデルのキャパシティの向上とセマンティック理解の改善という、2つの重要な側面に分割します。 意味理解のために,大規模言語モデルを高度なテキストエンコーダとして活用する手法を提案する。
• 参考スコア（独自算出の注目度）: 49.513401043490305
• License:
• Abstract: Text-to-video (T2V) generation has gained significant attention recently. However, the costs of training a T2V model from scratch remain persistently high, and there is considerable room for improving the generation performance, especially under limited computation resources. This work explores the continual general pre-training of text-to-video models, enabling the model to "grow" its abilities based on a pre-trained foundation, analogous to how humans acquire new knowledge based on past experiences. There is a lack of extensive study of the continual pre-training techniques in T2V generation. In this work, we take the initial step toward exploring this task systematically and propose ModelGrow. Specifically, we break this task into two key aspects: increasing model capacity and improving semantic understanding. For model capacity, we introduce several novel techniques to expand the model size, enabling it to store new knowledge and improve generation performance. For semantic understanding, we propose a method that leverages large language models as advanced text encoders, integrating them into T2V models to enhance language comprehension and guide generation results according to detailed prompts. This approach enables the model to achieve better semantic alignment, particularly in response to complex user prompts. Extensive experiments demonstrate the effectiveness of our method across various metrics. The source code and the model of ModelGrow will be publicly available.
• Abstract（参考訳）: テキスト・ツー・ビデオ(T2V)世代は近年注目されている。 しかし、T2Vモデルをスクラッチからトレーニングするコストは相変わらず高く、特に限られた計算資源の下では、生成性能を改善する余地がかなりある。 この研究は、テキストからビデオへの連続的な事前学習を探求し、人間が過去の経験に基づいて新しい知識を得る方法に類似した、事前訓練された基礎に基づいて、その能力を"成長"することを可能にする。 T2V生成における連続的事前学習技術についての研究は乏しい。 本研究では,この課題を体系的に探求するための最初の一歩を踏み出し,ModelGrowを提案する。 具体的には、このタスクをモデルキャパシティの向上とセマンティック理解の改善という、2つの重要な側面に分割します。 モデルキャパシティには,モデルサイズを拡大し,新たな知識を蓄積し,生成性能を向上させるための新しい手法がいくつか導入されている。 意味理解のために,大規模言語モデルを高度なテキストエンコーダとして活用し,それをT2Vモデルに統合して言語理解を強化し,詳細なプロンプトに従って生成結果をガイドする手法を提案する。 このアプローチにより、特に複雑なユーザプロンプトに対する応答において、モデルのセマンティックアライメントが向上する。 広範囲にわたる実験により, 様々な指標を用いて本手法の有効性を実証した。 ModelGrowのソースコードとモデルが公開される。

関連論文リスト

• Can bidirectional encoder become the ultimate winner for downstream applications of foundation models? [1.8120356834558644]
  基礎モデルには、事前学習、移動学習、自己指導学習の特徴がある。 BERTは、マスク付き言語モデルを用いて事前学習において、一方通行の言語モデリングのみを使用するという制限を突破した。 本稿では,GPT と BERT に基づく一方向モデルと双方向モデルを分析し,その目的に基づいて差分を比較する。
  論文  参考訳（メタデータ） (2024-11-27T03:31:14Z)
• EvolveDirector: Approaching Advanced Text-to-Image Generation with Large Vision-Language Models [36.576853882830896]
  我々はEvolveDirectorを導入し、公開リソースを使用した高度なモデルに匹敵するテキスト・画像生成モデルをトレーニングする。 このフレームワークは、公開APIを通じて高度なモデルと対話して、ベースモデルをトレーニングするためのテキストイメージデータペアを取得する。 我々は,事前学習された大規模視覚言語モデル(VLM)を活用し,基礎モデルの進化を導く。
  論文  参考訳（メタデータ） (2024-10-09T17:52:28Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• Foundation Models for Natural Language Processing -- Pre-trained Language Models Integrating Media [0.0]
  ファンデーションモデルは自然言語処理のための事前訓練された言語モデルである。 画像処理やビデオ処理からロボット制御学習まで、幅広いメディアや問題領域に適用することができる。 本書は、ファンデーションモデルの研究および応用における技術の現状を概観する。
  論文  参考訳（メタデータ） (2023-02-16T20:42:04Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Dynamic Language Models for Continuously Evolving Content [19.42658043326054]
  近年、BERTのような事前訓練された言語モデルは、コンテンツ理解タスクの最先端性を大幅に改善した。 本稿では,これらの言語モデルをウェブコンテンツの継続的な進化に適応させる方法について検討する。
  論文  参考訳（メタデータ） (2021-06-11T10:33:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。