論文の概要: FaceVid-1K: A Large-Scale High-Quality Multiracial Human Face Video Dataset

• arxiv url: http://arxiv.org/abs/2410.07151v1
• Date: Mon, 23 Sep 2024 07:27:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 21:56:57.478318
• Title: FaceVid-1K: A Large-Scale High-Quality Multiracial Human Face Video Dataset
• Title（参考訳）: FaceVid-1K: 大規模マルチクラシアル・ヒューマン・フェイス・ビデオデータセット
• Authors: Donglin Di, He Feng, Wenzhang Sun, Yongjia Ma, Hao Li, Wei Chen, Xiaofei Gou, Tonghua Su, Xun Yang,
• Abstract要約: 我々はtextbfFaceVid-1K という高品質な多人種顔コレクションを作成している。 我々は,テキスト・トゥ・ビデオ,画像・トゥ・ビデオ,無条件映像生成など,確立されたビデオ生成モデルを用いて実験を行った。 対応するパフォーマンスベンチマークを取得し、公開データセットでトレーニングされたベンチマークと比較し、データセットの優位性を実証する。
• 参考スコア（独自算出の注目度）: 15.917564646478628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating talking face videos from various conditions has recently become a highly popular research area within generative tasks. However, building a high-quality face video generation model requires a well-performing pre-trained backbone, a key obstacle that universal models fail to adequately address. Most existing works rely on universal video or image generation models and optimize control mechanisms, but they neglect the evident upper bound in video quality due to the limited capabilities of the backbones, which is a result of the lack of high-quality human face video datasets. In this work, we investigate the unsatisfactory results from related studies, gather and trim existing public talking face video datasets, and additionally collect and annotate a large-scale dataset, resulting in a comprehensive, high-quality multiracial face collection named \textbf{FaceVid-1K}. Using this dataset, we craft several effective pre-trained backbone models for face video generation. Specifically, we conduct experiments with several well-established video generation models, including text-to-video, image-to-video, and unconditional video generation, under various settings. We obtain the corresponding performance benchmarks and compared them with those trained on public datasets to demonstrate the superiority of our dataset. These experiments also allow us to investigate empirical strategies for crafting domain-specific video generation tasks with cost-effective settings. We will make our curated dataset, along with the pre-trained talking face video generation models, publicly available as a resource contribution to hopefully advance the research field.
• Abstract（参考訳）: 近年,様々な環境下での音声映像の生成が,生成タスクにおける研究分野として人気が高まっている。 しかし、高品質な顔ビデオ生成モデルを構築するには、十分に訓練済みのバックボーンを必要とする。 既存のほとんどの作品は、ユニバーサルビデオや画像生成モデルに依存し、制御機構を最適化しているが、背骨の能力に制限があるため、ビデオ品質の明らかな上限は無視されている。 本研究では,関連する研究から得られた不満足な結果を調査し,既存の音声音声データセットを収集・トリムし,さらに大規模なデータセットを収集・注釈し,その結果,包括的かつ高品質な多面的顔データ収集である「textbf{FaceVid-1K}」を実現する。 このデータセットを用いて、顔ビデオ生成のための効果的なトレーニング済みバックボーンモデルを構築した。 具体的には、テキスト・トゥ・ビデオ、画像・トゥ・ビデオ、無条件映像生成など、様々な設定で確立されたビデオ生成モデルを用いて実験を行う。 対応するパフォーマンスベンチマークを取得し、公開データセットでトレーニングされたベンチマークと比較し、データセットの優位性を実証する。 これらの実験により、ドメイン固有のビデオ生成タスクをコスト効率の良い設定で作成するための経験的戦略も検討できる。 キュレートされたデータセットと、トレーニング済みの対面ビデオ生成モデルを合わせて、研究分野の進展を願うリソースコントリビューションとして公開します。

関連論文リスト

• Movie Gen: A Cast of Media Foundation Models [133.41504332082667]
  高品質の1080pHDビデオを生成する基礎モデルのキャストであるMovie Genについて紹介する。 ユーザの画像に基づいて,高精度な命令ベースのビデオ編集やパーソナライズされたビデオの生成などの追加機能を示す。
  論文  参考訳（メタデータ） (2024-10-17T16:22:46Z)
• VidGen-1M: A Large-Scale Dataset for Text-to-video Generation [9.726156628112198]
  テキスト・ビデオ・モデルのための優れたトレーニングデータセットであるVidGen-1Mを提案する。 このデータセットは、高品質なビデオと、時間的一貫性に優れた詳細なキャプションを保証する。 ビデオ生成モデルをトレーニングするために使用すると、このデータセットは、他のモデルで得られたものを上回る実験結果をもたらす。
  論文  参考訳（メタデータ） (2024-08-05T16:53:23Z)
• VideoClusterNet: Self-Supervised and Adaptive Face Clustering For Videos [2.0719478063181027]
  Video Face Clusteringは、検出された顔のトラックを共通の顔認証でまとめることを目的としている。 この問題は、ビデオフレームにまたがる特定の顔のポーズ、表情、外観、照明のバリエーションが多岐にわたるため、非常に難しい。 本稿では,ジェネリック・フェイスIDモデルを,完全に自己管理された新しいビデオ・フェイス・トラックに適応させることを学習する,新しいビデオ・フェイス・クラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-16T23:34:55Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets [36.95521842177614]
  本稿では,高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細・高精細映像・高精細映像・高精細・高精細・高精細・高精細・高精細・高精細 我々は,テキスト・ツー・イメージ・プレトレーニング,ビデオ・プレトレーニング,高品質ビデオファインタニングの3つの異なる段階を同定し,評価する。
  論文  参考訳（メタデータ） (2023-11-25T22:28:38Z)
• EvalCrafter: Benchmarking and Evaluating Large Video Generation Models [70.19437817951673]
  これらのモデルはしばしば、マルチアスペクト能力を持つ非常に大きなデータセットで訓練されているので、単純な指標から大きな条件生成モデルを判断することは困難である、と我々は主張する。 我々のアプローチは、テキスト・ツー・ビデオ生成のための700のプロンプトの多種多様な包括的リストを作成することである。 そこで我々は、視覚的品質、コンテンツ品質、動作品質、テキスト・ビデオアライメントの観点から、慎重に設計されたベンチマークに基づいて、最先端のビデオ生成モデルを評価する。
  論文  参考訳（メタデータ） (2023-10-17T17:50:46Z)
• Probabilistic Adaptation of Text-to-Video Models [181.84311524681536]
  Video Adapterは、タスク固有の小さなビデオモデルに、幅広い知識を取り入れ、大きな事前訓練されたビデオモデルの忠実度を維持することができる。 Video Adapterは、アニメーション、エゴセントリックなモデリング、シミュレートされた実世界のロボティクスデータのモデリングなど、さまざまなタスクで高品質で特殊なビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-06-02T19:00:17Z)
• Multiface: A Dataset for Neural Face Rendering [108.44505415073579]
  本研究では,新しいマルチビュー,高解像度のヒューマン・フェイス・データセットであるMultifaceを提案する。 顔のパフォーマンスの高解像度同期映像をキャプチャする大規模なマルチカメラ装置であるMugsyを紹介する。 Multifaceの目的は、学術コミュニティにおける高品質データへのアクセシビリティのギャップを埋め、VRテレプレゼンスの研究を可能にすることである。
  論文  参考訳（メタデータ） (2022-07-22T17:55:39Z)
• Video Generation from Text Employing Latent Path Construction for Temporal Modeling [70.06508219998778]
  ビデオ生成は、機械学習とコンピュータビジョンの分野における最も困難なタスクの1つである。 本稿では,映像生成の条件形式であるテキストから映像生成の問題に取り組む。 自然言語文からのビデオ生成が人工知能に重要な影響を与えると考えている。
  論文  参考訳（メタデータ） (2021-07-29T06:28:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。