Fugu-MT 論文翻訳(概要): Pronunciation Deviation Analysis Through Voice Cloning and Acoustic Comparison

論文の概要: Pronunciation Deviation Analysis Through Voice Cloning and Acoustic Comparison

arxiv url: http://arxiv.org/abs/2507.10985v1
Date: Tue, 15 Jul 2025 04:58:19 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-16 19:46:02.983273
Title: Pronunciation Deviation Analysis Through Voice Cloning and Acoustic Comparison
Title（参考訳）: 音声クローンによる発音偏差解析と音響的比較
Authors: Andrew Valdivia, Yueming Zhang, Hailu Xu, Amir Ghasemkhani, Xin Qin,
Abstract要約: 発声音声と発声音声の最大音響偏差は誤認識の可能性を示唆している。提案手法は, ユーザの音声を適切な発音で合成し, フレーム単位の比較を行い, 問題セグメントを特定する。
参考スコア（独自算出の注目度）: 1.6710607386696872
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents a novel approach for detecting mispronunciations by analyzing deviations between a user's original speech and their voice-cloned counterpart with corrected pronunciation. We hypothesize that regions with maximal acoustic deviation between the original and cloned utterances indicate potential mispronunciations. Our method leverages recent advances in voice cloning to generate a synthetic version of the user's voice with proper pronunciation, then performs frame-by-frame comparisons to identify problematic segments. Experimental results demonstrate the effectiveness of this approach in pinpointing specific pronunciation errors without requiring predefined phonetic rules or extensive training data for each target language.
Abstract（参考訳）: 本稿では,ユーザの発声音声と音声閉鎖音声とのずれを訂正発音で解析し,誤認識を検出する手法を提案する。発声音声と発声音声の最大音響偏差のある領域は誤認識の可能性を示唆する。提案手法は,音声クローニングの最近の進歩を活用して,ユーザの音声を適切な発音で合成し,フレーム単位で比較し,問題セグメントを特定する。実験結果から,あらかじめ定義された音声規則や,対象言語毎の広範囲な学習データを必要としない,特定の発音誤りをピンポイントする手法の有効性が示された。

関連論文リスト

SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。 11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
論文参考訳（メタデータ） (2025-08-04T03:28:04Z)
Context Biasing for Pronunciations-Orthography Mismatch in Automatic Speech Recognition [56.972851337263755]
本稿では,置換誤りの訂正を可能とし,難解な単語の認識精度を向上させる手法を提案する。この手法により, 単語誤り率の相対的な改善を最大11%に抑えつつ, 単語誤り率の競争力を維持することができることを示す。
論文参考訳（メタデータ） (2025-06-23T14:42:03Z)
Transcript-Prompted Whisper with Dictionary-Enhanced Decoding for Japanese Speech Annotation [4.314729314139958]
音声と韻律のラベルを与えられた音声と音声のペアにアノテートする方法を提案する。音韻ラベリングにおける誤りの訂正に辞書事前知識を用いた復号方式を用いる。提案手法を用いてアノテートしたラベルで訓練したTTSモデルにより合成された音声の自然性は,手動のアノテーションで訓練したモデルに匹敵することを示す。
論文参考訳（メタデータ） (2025-06-09T11:10:24Z)
Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
論文参考訳（メタデータ） (2025-05-26T07:21:20Z)
Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment [7.519788903817844]
データ不足とスコア・ラベルの不均衡に対処する2つの音響特徴混合手法を提案する。音声認識結果と元の応答音素を比較し,誤発音のヒントを与える。
論文参考訳（メタデータ） (2024-06-22T03:56:29Z)
HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文参考訳（メタデータ） (2023-09-27T14:44:10Z)
Robust Acoustic and Semantic Contextual Biasing in Neural Transducers for Speech Recognition [14.744220870243932]
そこで本稿では,文脈バイアスを改善するために,軽量な文字表現を用いて微粒な発音特徴を符号化することを提案する。さらに、事前学習されたニューラルネットワークモデル(NLM)をベースとしたエンコーダを統合し、発話の意味的文脈を符号化する。 Librispeechデータセット上のConformer Transducerモデルを用いた実験では、異なるバイアスリストサイズに対するWERの相対的な改善が4.62%から9.26%である。
論文参考訳（メタデータ） (2023-05-09T08:51:44Z)
Single-channel speech separation using Soft-minimum Permutation Invariant Training [60.99112031408449]
教師付き音声分離における長寿命問題は、それぞれの分離された音声信号の正しいラベルを見つけることである。 Permutation Invariant Training (PIT) はラベルあいまいさ問題に対処する上で有望な解決策であることが示されている。そこで本研究では,PITの不効率に対処する確率的最適化フレームワークを提案する。
論文参考訳（メタデータ） (2021-11-16T17:25:05Z)
Personalized Keyphrase Detection using Speaker and Environment Information [24.766475943042202]
単語からなるフレーズを大きな語彙から正確に検出するために、簡単にカスタマイズできるストリーミングキーフレーズ検出システムを紹介します。本システムは,エンドツーエンドで訓練された自動音声認識(ASR)モデルと,テキスト非依存話者検証モデルを用いて実装される。
論文参考訳（メタデータ） (2021-04-28T18:50:19Z)
UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data [54.733889961024445]
ラベル付きデータとラベル付きデータの両方を用いて音声表現を学習するためのUniSpeechという統合事前学習手法を提案する。公立CommonVoiceコーパス上での言語間表現学習におけるUniSpeechの有効性を評価する。
論文参考訳（メタデータ） (2021-01-19T12:53:43Z)
Statistical Context-Dependent Units Boundary Correction for Corpus-based Unit-Selection Text-to-Speech [1.4337588659482519]
本稿では, 分割の精度を向上させるために, 単位選択テキスト音声(TTS)システムに適用するための, 話者適応のための革新的な手法を提案する。従来の話者適応手法とは違って,言語分析手法を応用した文脈依存特性のみの利用を目標としている。
論文参考訳（メタデータ） (2020-03-05T12:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。