論文の概要: SpeechLMScore: Evaluating speech generation using speech language model

• arxiv url: http://arxiv.org/abs/2212.04559v1
• Date: Thu, 8 Dec 2022 21:00:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 16:13:18.992349
• Title: SpeechLMScore: Evaluating speech generation using speech language model
• Title（参考訳）: speechlmscore:音声言語モデルを用いた音声生成の評価
• Authors: Soumi Maiti, Yifan Peng, Takaaki Saeki, Shinji Watanabe
• Abstract要約: 本稿では,音声認識モデルを用いて生成した音声を評価するための教師なしメトリックであるSpeechLMScoreを提案する。 人間のアノテーションは必要とせず、高度にスケーラブルなフレームワークです。 評価結果は,提案手法が音声生成タスクにおける評価スコアと有望な相関を示すことを示す。
• 参考スコア（独自算出の注目度）: 43.20067175503602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While human evaluation is the most reliable metric for evaluating speech generation systems, it is generally costly and time-consuming. Previous studies on automatic speech quality assessment address the problem by predicting human evaluation scores with machine learning models. However, they rely on supervised learning and thus suffer from high annotation costs and domain-shift problems. We propose SpeechLMScore, an unsupervised metric to evaluate generated speech using a speech-language model. SpeechLMScore computes the average log-probability of a speech signal by mapping it into discrete tokens and measures the average probability of generating the sequence of tokens. Therefore, it does not require human annotation and is a highly scalable framework. Evaluation results demonstrate that the proposed metric shows a promising correlation with human evaluation scores on different speech generation tasks including voice conversion, text-to-speech, and speech enhancement.
• Abstract（参考訳）: 人的評価は音声生成システムを評価する上で最も信頼性の高い指標であるが、一般的にはコストと時間を要する。 人間の評価スコアを機械学習モデルで予測することにより,従来の音声品質評価の課題に対処する。 しかし、彼らは教師付き学習に頼り、高いアノテーションコストとドメインシフトの問題に苦しむ。 本研究では,音声言語モデルを用いて生成音声を評価するための教師なし指標である speechlmscore を提案する。 speechlmscoreは、音声信号の平均ログ確率を離散トークンにマッピングして計算し、トークン列を生成する平均確率を測定する。 したがって、人間のアノテーションは必要とせず、高度にスケーラブルなフレームワークである。 評価結果から, 音声変換, 音声合成, 音声強調など, 音声生成タスクにおける評価スコアとの有望な相関性を示した。

関連論文リスト

• A Suite for Acoustic Language Model Evaluation [20.802090523583196]
  SALMonは、背景雑音、感情、話者識別、室内インパルス応答を含む新しい評価スイートである。 SALMon 上で複数の言語モデルを評価し,評価手法の長所と短所を強調した。
  論文  参考訳（メタデータ） (2024-09-11T17:34:52Z)
• SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
  本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。 我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T15:21:17Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Investigating model performance in language identification: beyond simple error statistics [28.128924654154087]
  言語開発の専門家は、流動的で会話的なスピーチから言語を自動的に識別するツールを必要としている。 本研究では,言語特性の異なる個々の録音や音声単位に対して,多くの言語識別システムがどの程度機能するかを検討する。
  論文  参考訳（メタデータ） (2023-05-30T10:32:53Z)
• Time out of Mind: Generating Rate of Speech conditioned on emotion and speaker [0.0]
  感情によって条件付けされたGANをトレーニングし、与えられた入力テキストに価値ある長さを生成する。 これらの単語長は相対的中性音声であり、テキスト音声システムに提供され、より表現力のある音声を生成する。 我々は,中性音声に対する客観的尺度の精度向上と,アウト・オブ・ボックスモデルと比較した場合の幸福音声に対する時間アライメントの改善を実現した。
  論文  参考訳（メタデータ） (2023-01-29T02:58:01Z)
• BLASER: A Text-Free Speech-to-Speech Translation Evaluation Metric [66.73705349465207]
  エンドツーエンドの音声音声翻訳(S2ST)は、一般的にテキストベースのメトリクスで評価される。 本稿では,ASRシステムへの依存を回避するために,BLASERと呼ばれるエンドツーエンドS2STのテキストフリー評価指標を提案する。
  論文  参考訳（メタデータ） (2022-12-16T14:00:26Z)
• Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition [19.763431520942028]
  本研究では,人間の判断によるコードスイッチング音声認識仮説のベンチマークデータセットを開発する。 自動仮説の最小化のための明確なガイドラインを定義する。 我々は、アラビア語/英語の方言音声におけるコードスイッチング音声認識結果の人間受容のための最初のコーパスをリリースする。
  論文  参考訳（メタデータ） (2022-11-22T08:14:07Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。