論文の概要: Emilia: A Large-Scale, Extensive, Multilingual, and Diverse Dataset for Speech Generation

• arxiv url: http://arxiv.org/abs/2501.15907v2
• Date: Wed, 08 Oct 2025 06:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 14:21:17.920334
• Title: Emilia: A Large-Scale, Extensive, Multilingual, and Diverse Dataset for Speech Generation
• Title（参考訳）: Emilia: 音声生成のための大規模・大規模・多言語・多言語・多言語データセット
• Authors: Haorui He, Zengqiang Shang, Chaoren Wang, Xuyuan Li, Yicheng Gu, Hua Hua, Liwei Liu, Chen Yang, Jiaqi Li, Peiyang Shi, Yuancheng Wang, Kai Chen, Pengyuan Zhang, Zhizheng Wu,
• Abstract要約: Emilia-Pipeはオープンソースの前処理パイプラインで、Wildのソースから高品質なトレーニングデータを抽出する。 Emiliaは6つの言語にまたがって101k時間以上の音声で構成されている。 実験によると、エミリアで訓練されたモデルは、従来のオーディオブックのデータセットで訓練されたモデルよりも、はるかに自然に人間のような音声を生成する。
• 参考スコア（独自算出の注目度）: 32.296767868576794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in speech generation have been driven by large-scale training datasets. However, current models struggle to capture the spontaneity and variability inherent in real-world human speech, as they are primarily trained on audio-book datasets limited to formal, read-aloud speaking styles. To address this limitation, we introduce Emilia-Pipe, an open-source preprocessing pipeline designed to extract high-quality training data from valuable yet under-explored in-the-wild sources that capture spontaneous human speech in real-world contexts. Using Emilia-Pipe, we construct Emilia, which comprises over 101k hours of speech across six languages: English, Chinese, German, French, Japanese, and Korean. Furthermore, we expand Emilia to Emilia-Large, a dataset exceeding 216k hours, making it one of the largest open-source speech generation resources available. Extensive experiments show that Emilia-trained models produce markedly more spontaneous, human-like speech than those trained on traditional audio-book datasets, while matching their intelligibility. These models better capture diverse speaker timbres and the full spectrum of real-world conversational styles. Our work also highlights the importance of scaling dataset size for advancing speech generation performance and validates the effectiveness of Emilia for both multilingual and crosslingual speech generation tasks.
• Abstract（参考訳）: 音声生成の最近の進歩は、大規模な訓練データセットによって推進されている。 しかし、現在のモデルは、実際の人間の発話に固有の自発性と変動性を捉えるのに苦労している。 この制限に対処するために、我々はEmilia-Pipeというオープンソースの前処理パイプラインを紹介します。 Emilia-Pipeを用いて、英語、中国語、ドイツ語、フランス語、日本語、韓国語という6つの言語で101k時間以上の音声を合成するEmiliaを構築した。 さらに、Emiliaを216k時間を超えるデータセットであるEmilia-Largeに拡張し、オープンソースの音声生成リソースとしては最大である。 大規模な実験によると、エミリアで訓練されたモデルは、従来のオーディオブックのデータセットで訓練されたものよりも、はるかに自然に、人間に似た音声を生成する。 これらのモデルは、多様な話者の音色と、現実世界の会話スタイルの完全なスペクトルをよりよく捉えます。 また,音声生成性能向上のためのデータセットサイズ拡大の重要性を強調し,多言語・多言語音声生成タスクにおけるEmiliaの有効性を検証した。

関連論文リスト

• CASPER: A Large Scale Spontaneous Speech Dataset [25.446606381490025]
  本稿では,自発音声データの不足に対処するための基礎研究として,我々のデータセットと方法論を紹介する。 今後このデータセットを拡大し、研究コミュニティのためのリソースを拡大する予定です。
  論文  参考訳（メタデータ） (2025-05-30T22:03:59Z)
• CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training [70.31925012315064]
  野生におけるゼロショット多言語音声合成のための改良モデルであるCosyVoice 3を提案する。 CosyVoice 3の主な特徴は、韻律自然性を改善する新しい音声トークンである。 データは1万時間から100万時間に拡張され、9つの言語と18の中国語方言を含んでいる。
  論文  参考訳（メタデータ） (2025-05-23T07:55:21Z)
• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• A Comparative Analysis of Bilingual and Trilingual Wav2Vec Models for Automatic Speech Recognition in Multilingual Oral History Archives [2.3592914313389257]
  我々は,単言語Wav2Vec 2.0モデルと様々な多言語モデルを比較し,音声認識性能の向上を図る。 以上の結果から,単言語音声認識モデルは多言語モデルよりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-07-24T11:03:47Z)
• Emilia: An Extensive, Multilingual, and Diverse Speech Dataset for Large-Scale Speech Generation [26.569097905515033]
  Emiliaは、最初の大規模、多言語、多様な音声生成データセットである。 6つの言語にまたがる101k時間以上のスピーチから始まり、幅広い話し方をカバーする。 Emiliaのスケールアップを容易にするために,最初のオープンソース前処理パイプラインであるEmilia-Pipeも紹介する。
  論文  参考訳（メタデータ） (2024-07-07T13:24:54Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Direct Punjabi to English speech translation using discrete units [4.883313216485195]
  本稿では,Punjabi という言語を英語に翻訳する手法を提案する。 また、トランスフォーマーに基づく翻訳モデルへの入力として、離散音響単位と呼ばれる音声の離散表現を用いた場合の性能についても検討する。 以上の結果から,U2UTモデルは3.69BLEUスコアによるS2UTモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-02-25T03:03:34Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• Textless Speech-to-Speech Translation With Limited Parallel Data [51.3588490789084]
  PFBはテキストレスのS2STモデルをトレーニングするためのフレームワークで、数十時間の並列音声データしか必要としない。 3つのドメインで英語、ドイツ語、マラティー語、英語の翻訳をトレーニングし、評価する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:05Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• Scaling Speech Technology to 1,000+ Languages [66.31120979098483]
  MMS(Massively Multilingual Speech)プロジェクトは、タスクに応じてサポート言語を10～40倍増やす。 主な材料は、一般に公開されている宗教文書の読解に基づく新しいデータセットである。 我々は,1,406言語,1,107言語用1つの多言語自動音声認識モデル,同一言語用音声合成モデル,4,017言語用言語識別モデルについて,事前学習したwav2vec 2.0モデルを構築した。
  論文  参考訳（メタデータ） (2023-05-22T22:09:41Z)
• Sentiment recognition of Italian elderly through domain adaptation on cross-corpus speech dataset [77.99182201815763]
  本研究の目的は、イタリアの高齢者の自然な会話において、肯定的、中立的、否定的な感情を認識することができる音声感情認識(SER)モデルを定義することである。
  論文  参考訳（メタデータ） (2022-11-14T12:39:41Z)
• Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
  本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。 マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
  論文  参考訳（メタデータ） (2021-12-15T18:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。