論文の概要: TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation

• arxiv url: http://arxiv.org/abs/2411.04709v1
• Date: Tue, 05 Nov 2024 18:52:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:33.848090
• Title: TIP-I2V: A Million-Scale Real Text and Image Prompt Dataset for Image-to-Video Generation
• Title（参考訳）: TIP-I2V:イメージ・ツー・ビデオ・ジェネレーションのための100万規模のリアルテキストと画像プロンプトデータセット
• Authors: Wenhao Wang, Yi Yang,
• Abstract要約: TIP-I2Vは、ユーザが提供するテキストと画像プロンプトの大規模なデータセットとしては初めてである。 我々は、5つの最先端画像からビデオまでのモデルから、対応する生成されたビデオを提供する。
• 参考スコア（独自算出の注目度）: 22.782099757385804
• License:
• Abstract: Video generation models are revolutionizing content creation, with image-to-video models drawing increasing attention due to their enhanced controllability, visual consistency, and practical applications. However, despite their popularity, these models rely on user-provided text and image prompts, and there is currently no dedicated dataset for studying these prompts. In this paper, we introduce TIP-I2V, the first large-scale dataset of over 1.70 million unique user-provided Text and Image Prompts specifically for Image-to-Video generation. Additionally, we provide the corresponding generated videos from five state-of-the-art image-to-video models. We begin by outlining the time-consuming and costly process of curating this large-scale dataset. Next, we compare TIP-I2V to two popular prompt datasets, VidProM (text-to-video) and DiffusionDB (text-to-image), highlighting differences in both basic and semantic information. This dataset enables advancements in image-to-video research. For instance, to develop better models, researchers can use the prompts in TIP-I2V to analyze user preferences and evaluate the multi-dimensional performance of their trained models; and to enhance model safety, they may focus on addressing the misinformation issue caused by image-to-video models. The new research inspired by TIP-I2V and the differences with existing datasets emphasize the importance of a specialized image-to-video prompt dataset. The project is publicly available at https://tip-i2v.github.io.
• Abstract（参考訳）: 映像生成モデルはコンテンツ生成に革命をもたらしており、制御性の向上、視覚的一貫性、実用的な応用により、画像から映像へのモデルが注目を集めている。 しかし、その人気にもかかわらず、これらのモデルはユーザーが提供するテキストと画像プロンプトに依存しており、これらのプロンプトを研究するための専用のデータセットは存在しない。 本稿では,イメージ・ツー・ビデオ生成に特化して,1億7000万以上のユニークなユーザ提供テキストとイメージ・プロンプトからなる,最初の大規模データセットであるTIP-I2Vを紹介する。 さらに,5つの最先端画像-映像モデルから生成された映像について述べる。 私たちは、この大規模なデータセットをキュレートする時間とコストのかかるプロセスの概要から始めます。 次に、TIP-I2VとVidProM(text-to-video)とDiffusionDB(text-to-image)の2つの一般的なプロンプトデータセットを比較し、基本的な情報とセマンティック情報の両方の違いを強調した。 このデータセットは、画像とビデオの研究の進歩を可能にする。 例えば、より良いモデルを開発するために、研究者はTIP-I2Vのプロンプトを使用して、ユーザーの好みを分析し、訓練されたモデルの多次元性能を評価する。 TIP-I2Vにインスパイアされた新しい研究と、既存のデータセットとの違いは、特殊な画像間プロンプトデータセットの重要性を強調している。 プロジェクトはhttps://tip-i2v.github.ioで公開されている。

関連論文リスト

• xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
  xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。 VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。 DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T17:55:22Z)
• Subjective-Aligned Dataset and Metric for Text-to-Video Quality Assessment [54.00254267259069]
  現在までに最大規模のテキスト・ビデオ品質評価データベース(T2VQA-DB)を構築している。 データセットは、9つの異なるT2Vモデルによって生成される1万のビデオで構成されている。 主観的テキスト・ビデオ品質評価(T2VQA)のためのトランスフォーマーに基づく新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:52:49Z)
• SELMA: Learning and Merging Skill-Specific Text-to-Image Experts with Auto-Generated Data [73.23388142296535]
  SELMAは、自動生成されたマルチスキル画像テキストデータセット上での微調整モデルにより、T2Iモデルの忠実度を向上させる。 SELMAは、複数のベンチマーク上での最先端T2I拡散モデルのセマンティックアライメントとテキスト忠実性を大幅に改善することを示す。 また、SELMAを介して自動コンパイルされた画像テキストペアによる微調整は、地上の真理データによる微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-03-11T17:35:33Z)
• TaleCrafter: Interactive Story Visualization with Multiple Characters [49.14122401339003]
  本稿では,ジェネリック・インタラクティブ・ストーリー・ビジュアライゼーションシステムを提案する。 複数の新しい文字を扱うことができ、レイアウトと局所構造の編集をサポートする。 システムは、ストーリー・ツー・プロンプト・ジェネレーション(S2P)、テキスト・ツー・ジェネレーション(T2L)、制御可能なテキスト・ツー・イメージ・ジェネレーション(C-T2I)、画像・トゥ・ビデオ・アニメーション(I2V)の4つの相互接続コンポーネントからなる。
  論文  参考訳（メタデータ） (2023-05-29T17:11:39Z)
• Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation [31.882356164068753]
  テキスト・トゥ・イメージ(T2I)生成の成功を再現するため、最近のテキスト・トゥ・ビデオ(T2V)生成では、T2V生成のためのデータセットに大量のデータセットが使用されている。 そこで本研究では,Tune-A-Videoが様々なアプリケーション上で時間的コヒーレントなビデオを生成することを提案する。
  論文  参考訳（メタデータ） (2022-12-22T09:43:36Z)
• Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
  Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。 我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。 空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
  論文  参考訳（メタデータ） (2022-09-29T13:59:46Z)
• CLIP4Caption: CLIP for Video Caption [9.470254059503862]
  私たちは、CLIP対応ビデオテキストマッチングネットワーク(VTM)に基づくビデオキャプションを改善するCLIP4Captionフレームワークを提案する。 このフレームワークは、視覚と言語の両方からの情報を完全に活用し、テキスト生成のための強力なテキスト関連ビデオ機能を学ぶためにモデルを強制している。
  論文  参考訳（メタデータ） (2021-10-13T10:17:06Z)
• Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval [80.7397409377659]
  大規模画像と映像キャプションの両方のデータセットを利用した,エンドツーエンドのトレーニング可能なモデルを提案する。 私たちのモデルは柔軟で、画像とビデオの両方のテキストデータセットで、独立に、または同時にトレーニングできます。 この手法は,標準ダウンストリームビデオリトライバルベンチマークにおいて最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-01T17:48:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。