論文の概要: Miipher-2: A Universal Speech Restoration Model for Million-Hour Scale Data Restoration

• arxiv url: http://arxiv.org/abs/2505.04457v2
• Date: Thu, 08 May 2025 23:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 12:48:53.993288
• Title: Miipher-2: A Universal Speech Restoration Model for Million-Hour Scale Data Restoration
• Title（参考訳）: Miipher-2: 百万時間データ復元のためのユニバーサル音声復元モデル
• Authors: Shigeki Karita, Yuma Koizumi, Heiga Zen, Haruko Ishikawa, Robin Scheibler, Michiel Bacchiani,
• Abstract要約: 学習データクリーニングは生成モデルに基づく音声復元(SR)の新しい応用である 本稿では,100万時間規模のデータを対象としたSRモデルであるMiipher-2を紹介し,大規模言語モデルのような大規模生成モデルのデータクリーニングを訓練する。 Miipher-2は、300以上の言語をサポートする凍結訓練されたUniversal Speech Model (USM) を、堅牢で条件のない特徴抽出器として使用している。
• 参考スコア（独自算出の注目度）: 34.19120411446055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training data cleaning is a new application for generative model-based speech restoration (SR). This paper introduces Miipher-2, an SR model designed for million-hour scale data, for training data cleaning for large-scale generative models like large language models. Key challenges addressed include generalization to unseen languages, operation without explicit conditioning (e.g., text, speaker ID), and computational efficiency. Miipher-2 utilizes a frozen, pre-trained Universal Speech Model (USM), supporting over 300 languages, as a robust, conditioning-free feature extractor. To optimize efficiency and minimize memory, Miipher-2 incorporates parallel adapters for predicting clean USM features from noisy inputs and employs the WaveFit neural vocoder for waveform synthesis. These components were trained on 3,000 hours of multi-lingual, studio-quality recordings with augmented degradations, while USM parameters remained fixed. Experimental results demonstrate Miipher-2's superior or comparable performance to conventional SR models in word-error-rate, speaker similarity, and both objective and subjective sound quality scores across all tested languages. Miipher-2 operates efficiently on consumer-grade accelerators, achieving a real-time factor of 0.0078, enabling the processing of a million-hour speech dataset in approximately three days using only 100 such accelerators.
• Abstract（参考訳）: 学習データクリーニングは、生成モデルに基づく音声復元(SR)の新しい応用である。 本稿では,100万時間規模のデータを対象としたSRモデルであるMiipher-2を紹介し,大規模言語モデルのような大規模生成モデルのデータクリーニングを訓練する。 主な課題は、目に見えない言語への一般化、明示的な条件付けのない操作(例えば、テキスト、話者ID)、計算効率である。 Miipher-2は、300以上の言語をサポートする凍結訓練されたUniversal Speech Model (USM) を、堅牢で条件のない特徴抽出器として使用している。 効率の最適化とメモリの最小化のために、Miipher-2はノイズの多い入力からクリーンなUSM特徴を予測するための並列アダプタを導入し、波形合成にWaveFitニューラルボコーダを使用している。 これらのコンポーネントは、拡張劣化を伴う多言語、スタジオ品質の録音で3000時間トレーニングされ、USMパラメータは固定されたままであった。 実験結果から,単語誤り率,話者類似度,主観的および主観的音質スコアの両面において,従来のSRモデルに比較して,Miipher-2の方が優れた性能を示した。 Miipher-2はコンシューマグレードのアクセラレータ上で効率的に動作し、0.0078のリアルタイム係数を実現し、100以上のアクセラレータを使用して約3日間で100万時間の音声データセットを処理できる。

関連論文リスト

• SyllableLM: Learning Coarse Semantic Units for Speech Language Models [21.762112843104028]
  本稿では,音声表現を粗い音節単位にマージする制御可能な自己教師手法を提案する。 制御可能なセマンティックユニットを5Hz,60bpsで生成し,SotA incセグメンテーションとクラスタリングを行った。 SyllableLMは、トレーニング計算の30倍の削減と4倍のウォールクロック推論高速化によって、大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2024-10-05T04:29:55Z)
• TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation [19.126525226518975]
  パラメータと計算コストを大幅に削減した音声分離モデルを提案する。 TIGERは事前の知識を活用して周波数帯域を分割し、周波数情報を圧縮する。 我々はTIGERがパラメータ数を94.3%削減し、MACを95.3%削減することを示した。
  論文  参考訳（メタデータ） (2024-10-02T12:21:06Z)
• Automatic Speech Recognition for the Ika Language [0.0]
  IkaのNew Testament Bible Multilingualから収集した高品質な音声データセット上で、事前学習したwav2vec 2.0の大規模翻訳を行う。 この結果から,微調整による事前学習モデルでは単語誤り率(WER)が0.5377,文字誤り率(CER)が0.2651となり,学習時間は1時間を超えることがわかった。
  論文  参考訳（メタデータ） (2024-10-01T11:56:42Z)
• Sample-Efficient Diffusion for Text-To-Speech Synthesis [31.372486998377966]
  U-Audio Transformer (U-AT)と呼ばれる新しい拡散アーキテクチャに基づいている。 SESDは1k時間未満の音声のトレーニングにもかかわらず、印象的な結果が得られる。 2%未満のトレーニングデータを使用しながら、最先端の自己回帰モデルであるVALL-Eよりも知的な音声を合成する。
  論文  参考訳（メタデータ） (2024-09-01T20:34:36Z)
• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• Google USM: Scaling Automatic Speech Recognition Beyond 100 Languages [76.95115818308918]
  100以上の言語で自動音声認識(ASR)を行う単一大モデルであるUniversal Speech Model (USM)を導入する。 これは300以上の言語にまたがる1200万時間 (M) の大規模なラベル付き多言語データセット上で、モデルのエンコーダを事前トレーニングすることで達成される。 我々は,多言語事前学習とランダム投影量子化と音声-テキスト・モダリティマッチングを用いて,下流多言語ASRおよび音声-テキスト翻訳タスクの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-02T07:47:18Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)
• Low Resource German ASR with Untranscribed Data Spoken by Non-native Children -- INTERSPEECH 2021 Shared Task SPAPL System [19.435571932141364]
  本稿では,ドイツ語における非Native Children's Speechの音声認識における共有課題であるInterSPEECH 2021 ChallengeのSPAPLシステムについて述べる。 子ども向けのドイツのASRシステムを開発するために,5時間の転写データと60時間の非転写データを提供する。 書き起こしデータのトレーニングのために,音声発話における長周期非音声区間の影響を軽減するために,非音声状態判別損失(NSDL)を提案する。 本システムは,評価データに対して39.68%の単語誤り率(WER)を達成する。
  論文  参考訳（メタデータ） (2021-06-18T07:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。