論文の概要: Moving Alphabet: A Controlled Study of Training Data for Text-to-Video Generation

• arxiv url: http://arxiv.org/abs/2607.18789v1
• Date: Tue, 21 Jul 2026 07:07:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.344895
• Title: Moving Alphabet: A Controlled Study of Training Data for Text-to-Video Generation
• Title（参考訳）: Alphabet移行:テキスト・ビデオ・ジェネレーションのためのトレーニングデータの制御された研究
• Abstract要約: データ配信とキャプションの品質がテキスト・ビデオ・モデルに与える影響について検討する。 ビデオの内容と期間の多様かつバランスの取れた分布は、一般化に不可欠である。 キャプションの品質は、モデルパフォーマンスとトレーニング効率の両方に大きく影響します。
• 参考スコア（独自算出の注目度）: 28.393534589892507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-video generation has advanced significantly over the past five years through scaling of model size, data, and compute. Unlike model architecture, training data is often underexplored. Real-world data curation is complex and non-trivial, involving clip selection from raw videos and captioning to create video-text pairs for learning text-to-video mappings. We study how data distribution and caption quality impact text-to-video models. To enable controlled experiments, we introduce Moving Alphabet, a procedural testbed that renders letters with varying fonts, colors, sizes, and positions, moving in different directions and speeds against a black background. This design allows precise control over data distribution and caption quality by corrupting ground-truth metadata. Our experiments yield three findings: a) a diverse and balanced distribution of video content and duration is critical for generalization; b) caption quality significantly affects both model performance and training efficiency, suggesting that text-to-video models are bounded by video understanding capabilities; and c) classifier-free guidance and fine-tuning on high-quality data provide partial recovery from models trained on corrupted captions, but cannot fully compensate for poor pre-training data. We believe these insights can inform the development of large-scale text-to-video models, and we advocate for greater attention to the science of pre-training data.
• Abstract（参考訳）: テキスト・ビデオ生成は、モデルのサイズ、データ、計算のスケーリングを通じて、過去5年間で大幅に進歩した。 モデルアーキテクチャとは異なり、トレーニングデータはしばしば過小評価される。 実世界のデータキュレーションは複雑で簡単ではないため、生のビデオやキャプションからクリップを選択して、テキストとビデオのマッピングを学習するためのビデオテキストペアを作成する。 データ配信とキャプションの品質がテキスト・ビデオ・モデルに与える影響について検討する。 制御された実験を可能にするために、さまざまなフォント、色、サイズ、位置で文字を描画し、異なる方向と速度で黒背景に対して移動する手続き的なテストベッドであるMoving Alphabetを紹介した。 この設計により、地上のメタデータを破損させることで、データの分布とキャプションの品質を正確に制御できる。 私たちの実験では3つの結果が出ました。 a) 映像の内容及び期間の多様かつバランスの取れた分布は,一般化に不可欠である。 ロ キャプションの品質がモデル性能とトレーニング効率の両方に大きく影響し、ビデオ理解能力によってテキスト・ビデオモデルが拘束されていることを示唆すること。 c) 分類者なし指導及び高品質データの微調整は、破損したキャプションで訓練されたモデルから部分的に回復するが、劣悪な事前訓練データに対して完全に補償することができない。 これらの知見は,大規模なテキスト・ビデオ・モデルの開発に寄与し,事前学習データの科学への注目を喚起する。

関連論文リスト

• VideoWeave: A Data-Centric Approach for Efficient Video Understanding [54.5804686337209]
  我々は、合成長文学習サンプルを構築して、データ効率を改善するためのシンプルで効果的な方法であるVideoWeaveを提案する。 VideoWeaveは、利用可能なビデオテキストペアを再編成して、固定計算内で時間的多様性を拡大する。 我々の結果は、アーキテクチャを変更するのではなく、トレーニングデータを再編成することで、ビデオ言語モデルをトレーニングするためのシンプルでスケーラブルなパスを提供できることを強調している。
  論文  参考訳（メタデータ） (2026-01-09T20:55:26Z)
• VidGen-1M: A Large-Scale Dataset for Text-to-video Generation [9.726156628112198]
  テキスト・ビデオ・モデルのための優れたトレーニングデータセットであるVidGen-1Mを提案する。 このデータセットは、高品質なビデオと、時間的一貫性に優れた詳細なキャプションを保証する。 ビデオ生成モデルをトレーニングするために使用すると、このデータセットは、他のモデルで得られたものを上回る実験結果をもたらす。
  論文  参考訳（メタデータ） (2024-08-05T16:53:23Z)
• VideoCon: Robust Video-Language Alignment via Contrast Captions [80.08882631838914]
  ビデオ言語アライメントモデルは、ビデオキャプションのセマンティックなコントラスト変化に対して堅牢ではない。 私たちの研究は、エンティティの置換やアクション、イベント順序の反転など、幅広いコントラストのミスアライメントを特定します。 本モデルは,時間的に拡大したビデオ言語タスクにおけるゼロショット性能の新たな状態を設定する。
  論文  参考訳（メタデータ） (2023-11-15T19:51:57Z)
• Video-Teller: Enhancing Cross-Modal Generation with Fusion and Decoupling [79.49128866877922]
  Video-Tellerは、マルチモーダル融合と微粒なモーダルアライメントを利用するビデオ言語基盤モデルである。 Video-Tellerは、凍結した事前訓練されたビジョンと言語モジュールを利用することで、トレーニング効率を高める。 大規模言語モデルの堅牢な言語機能を活用し、簡潔かつ精巧なビデオ記述の生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-08T03:35:27Z)
• In-Style: Bridging Text and Uncurated Videos with Style Transfer for Text-Video Retrieval [72.98185525653504]
  トレーニング中は、テキストクエリと未処理のWebビデオのみを併用する、未修正データによる新しい設定、テキストビデオ検索を提案する。 一般化を改善するために、複数のテキストスタイルで1つのモデルを訓練できることを示す。 提案手法の利点を実証するため,複数のデータセットを対象とした検索性能のモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-09-16T08:48:21Z)
• Learning a Grammar Inducer from Massive Uncurated Instructional Videos [118.7279072358029]
  映像支援文法帰納法は,映像情報を利用してより正確な構文文法を検索することを目的としている。 我々は手動で設計した機能なしでビデオスパン相関をよりよく学習できる新しいモデルを構築した。 我々のモデルは、ドメイン内のデータに基づいてトレーニングされた従来の最先端システムよりも高いF1スコアが得られる。
  論文  参考訳（メタデータ） (2022-10-22T00:22:55Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。