論文の概要: MAD Speech: Measures of Acoustic Diversity of Speech

• arxiv url: http://arxiv.org/abs/2404.10419v1
• Date: Tue, 16 Apr 2024 09:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 17:23:30.978302
• Title: MAD Speech: Measures of Acoustic Diversity of Speech
• Title（参考訳）: MAD音声:音声の音響的多様性の測定
• Authors: Matthieu Futeral, Andrea Agostinelli, Marco Tagliasacchi, Neil Zeghidour, Eugene Kharitonov,
• Abstract要約: 我々は音響多様性の軽量な指標を開発し、これをMAD音声と呼ぶ。 音声,性別,感情,アクセント,背景雑音の5つの側面を計測することに焦点を当てた。 提案する指標は,ベースラインよりも根底的な多様性と強く一致していることが実証された。
• 参考スコア（独自算出の注目度）: 32.380538377344784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative spoken language models produce speech in a wide range of voices, prosody, and recording conditions, seemingly approaching the diversity of natural speech. However, the extent to which generated speech is acoustically diverse remains unclear due to a lack of appropriate metrics. We address this gap by developing lightweight metrics of acoustic diversity, which we collectively refer to as MAD Speech. We focus on measuring five facets of acoustic diversity: voice, gender, emotion, accent, and background noise. We construct the metrics as a composition of specialized, per-facet embedding models and an aggregation function that measures diversity within the embedding space. Next, we build a series of datasets with a priori known diversity preferences for each facet. Using these datasets, we demonstrate that our proposed metrics achieve a stronger agreement with the ground-truth diversity than baselines. Finally, we showcase the applicability of our proposed metrics across several real-life evaluation scenarios. MAD Speech will be made publicly accessible.
• Abstract（参考訳）: 生成言語モデルは、音声、韻律、記録条件の幅広い範囲で音声を生成し、自然な音声の多様性に近づいているように見える。 しかし, 適切な指標が欠如しているため, 生成音声の音響的多様性の程度は明らかになっていない。 我々はこのギャップを,MAD音声と呼ぶ音響的多様性の軽量化によって解決する。 音声,性別,感情,アクセント,背景雑音の5つの側面を計測することに焦点を当てた。 本研究では, 顔ごとの埋め込みモデルと, 埋め込み空間内の多様性を計測する集約関数の合成として, 計測値を構築した。 次に、各ファセットの多様性を優先した、一連のデータセットを構築します。 これらのデータセットを用いて,提案した指標がベースラインよりも根底的な多様性との強い一致を達成できることを実証した。 最後に,提案手法の適用性について,複数の実生活評価シナリオで紹介する。 MAD音声は一般公開される予定だ。

関連論文リスト

• Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities [9.473861847584843]
  本稿では,MMS(Massively Multilingual Speech)とWhisper(Whisper)という,最先端の音声認識モデルについて述べる。 インドネシア語音声データを様々な変動群で書き起こすモデルの予測能力について検討する。
  論文  参考訳（メタデータ） (2024-10-11T14:07:07Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• DASB -- Discrete Audio and Speech Benchmark [12.02056212008393]
  我々は、様々なタスクで離散オーディオトークンをベンチマークするためのリーダーボードである、離散オーディオおよび音声ベンチマーク(DASB)をリリースする。 その結果, 意味トークンは, 識別的, 生成的タスクにおいて, 圧縮トークンよりも優れていた。 しかし、セマンティックトークンと標準的な連続表現の間のパフォーマンスのギャップは依然として大きい。
  論文  参考訳（メタデータ） (2024-06-20T13:23:27Z)
• DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding [51.32965203977845]
  本稿では,連続的な音声エンコーダ出力の代わりに離散音声単位(DSU)を用いることを提案する。 提案モデルでは, 未知領域からの音声入力に対する頑健な性能と, 音声質問応答における指示追従能力を示す。 この結果から,ASRタスクとデータセットは,音声質問応答タスクの指導訓練に必須ではないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-13T17:28:13Z)
• Toward Joint Language Modeling for Speech Units and Text [89.32163954508489]
  音声単位とテキストの共用言語モデリングについて検討する。 音声とテキストの混在度を評価するための自動計測手法を提案する。 提案手法を用いて音声単位とテキストを混合することにより,SLUタスクにおける音声のみのベースラインを改良することを示す。
  論文  参考訳（メタデータ） (2023-10-12T20:53:39Z)
• Neural approaches to spoken content embedding [1.3706331473063877]
  我々は、リカレントニューラルネットワーク(RNN)に基づく新しい識別的音響単語埋め込み(AWE)と音響的接地単語埋め込み(AGWE)アプローチに貢献する。 我々は,単言語と多言語の両方の埋め込みモデルを,クエリ・バイ・サンプル音声検索と自動音声認識の下流タスクに適用する。
  論文  参考訳（メタデータ） (2023-08-28T21:16:08Z)
• SCRAPS: Speech Contrastive Representations of Acoustic and Phonetic Spaces [10.895310812568084]
  音声空間と音響空間の共有表現を学習するために,CLIPに基づくモデルを訓練する。 その結果,提案手法は音素変化に敏感であることが示唆された。 その結果,様々な下流アプリケーションにおいて,埋め込みが有用であることを示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2023-07-23T22:18:47Z)
• A Highly Adaptive Acoustic Model for Accurate Multi-Dialect Speech Recognition [80.87085897419982]
  単一AMを用いた高精度多言語音声認識のための新しい音響モデリング手法を提案する。 提案するAMは、方言情報とその内部表現に基づいて動的に適応し、複数の方言を同時に扱うための高度適応型AMとなる。 大規模音声データセットにおける実験結果から,提案したAMは,方言固有のAMと比較して,単語誤り率(WER)が8.11%,方言固有のAMに比べて7.31%向上していることがわかった。
  論文  参考訳（メタデータ） (2022-05-06T06:07:09Z)
• Automatic Dialect Density Estimation for African American English [74.44807604000967]
  アフリカ・アメリカン・イングリッシュ(AAE)方言の方言密度の自動予測について検討する。 方言密度は、非標準方言の特徴を含む発話における単語の割合として定義される。 このデータベースでは,AAE音声に対する予測された真理弁証密度と地上の真理弁証密度との間に有意な相関関係を示す。
  論文  参考訳（メタデータ） (2022-04-03T01:34:48Z)
• High Fidelity Speech Regeneration with Application to Speech Enhancement [96.34618212590301]
  本稿では,24khz音声をリアルタイムに生成できる音声のwav-to-wav生成モデルを提案する。 音声変換法に着想を得て,音源の同一性を保ちながら音声特性を増強する訓練を行った。
  論文  参考訳（メタデータ） (2021-01-31T10:54:27Z)
• Few Shot Adaptive Normalization Driven Multi-Speaker Speech Synthesis [18.812696623555855]
  複数発話音声合成手法 (FSM-SS) を提案する。 FSM-SSは、未確認者の入力テキストと参照音声サンプルから、その人のスタイルで数ショットで音声を生成することができる。 正規化のアフィンパラメータがエネルギーや基本周波数などの韻律的特徴を捉えるのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-12-14T04:37:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。