論文の概要: Leveraging Allophony in Self-Supervised Speech Models for Atypical Pronunciation Assessment

• arxiv url: http://arxiv.org/abs/2502.07029v1
• Date: Mon, 10 Feb 2025 20:46:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:35.562656
• Title: Leveraging Allophony in Self-Supervised Speech Models for Atypical Pronunciation Assessment
• Title（参考訳）: 非定型発音評価のための自己監督音声モデルにおけるアロフォニーの活用
• Authors: Kwanghee Choi, Eunjung Yeo, Kalvin Chang, Shinji Watanabe, David Mortensen,
• Abstract要約: アロフォニー(Allophony)は、その音素環境に基づく音素の音素的実現のバリエーションを指す。 最近の音素ベースのアプローチは、様々な実現を単一音素として扱うことでこれを単純化することが多い。 複数のサブクラスタで音素分布をモデル化する新しい手法であるMixGoPを提案する。
• 参考スコア（独自算出の注目度）: 36.0732791520015
• License:
• Abstract: Allophony refers to the variation in the phonetic realization of a phoneme based on its phonetic environment. Modeling allophones is crucial for atypical pronunciation assessment, which involves distinguishing atypical from typical pronunciations. However, recent phoneme classifier-based approaches often simplify this by treating various realizations as a single phoneme, bypassing the complexity of modeling allophonic variation. Motivated by the acoustic modeling capabilities of frozen self-supervised speech model (S3M) features, we propose MixGoP, a novel approach that leverages Gaussian mixture models to model phoneme distributions with multiple subclusters. Our experiments show that MixGoP achieves state-of-the-art performance across four out of five datasets, including dysarthric and non-native speech. Our analysis further suggests that S3M features capture allophonic variation more effectively than MFCCs and Mel spectrograms, highlighting the benefits of integrating MixGoP with S3M features.
• Abstract（参考訳）: アロフォニー(Allophony)は、その音素環境に基づく音素の音素的実現のバリエーションを指す。 非定型発音評価には,非定型発音と非定型発音を区別するアロフォンのモデル化が不可欠である。 しかし、近年の音素分類器に基づくアプローチは、様々な実現を単一音素として扱い、アロフォニック変動のモデル化の複雑さを回避し、これを単純化することが多い。 凍結自己教師付き音声モデル(S3M)の音響モデリング機能により,ガウス混合モデルを用いて複数のサブクラスタで音素分布をモデル化するMixGoPを提案する。 以上の結果から,MixGoPは変形性および非ネイティブ音声を含む5つのデータセットのうち4つにまたがって,最先端のパフォーマンスを実現することが示された。 分析の結果,S3M は MFCC や Mel のスペクトログラムよりもアロフォニックな変動を効果的に捉え,MixGoP と S3M の機能を統合する利点を強調した。

関連論文リスト

• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• Disentangling Voice and Content with Self-Supervision for Speaker Recognition [57.446013973449645]
  本稿では,音声における話者の特性と内容の変動を同時にモデル化するアンタングル化フレームワークを提案する。 実験はVoxCelebとSITWのデータセットで実施され、EERとminDCFの平均減少率は9.56%と8.24%である。
  論文  参考訳（メタデータ） (2023-10-02T12:02:07Z)
• Minimally-Supervised Speech Synthesis with Conditional Diffusion Model and Language Model: A Comparative Study of Semantic Coding [57.42429912884543]
  Diff-LM-Speech, Tetra-Diff-Speech, Tri-Diff-Speechを提案する。 また,変分オートエンコーダと韻律ボトルネックに基づくプロンプトエンコーダ構造を導入し,プロンプト表現能力の向上を図る。 実験の結果,提案手法はベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-28T11:20:23Z)
• A Single Self-Supervised Model for Many Speech Modalities Enables Zero-Shot Modality Transfer [31.028408352051684]
  マルチモーダル音声と非モーダル音声の両方を活用できる自己教師型事前学習フレームワークであるu-HuBERTを提案する。 LRS3では1.2%/1.4%/27.2%の音声認識単語誤り率を示す。
  論文  参考訳（メタデータ） (2022-07-14T16:21:33Z)
• A Systematic Comparison of Phonetic Aware Techniques for Speech Enhancement [20.329872147913584]
  音声強調モデルにおける音声情報の統合方法の比較を行った。 異なる音声コンテンツモデルと様々な特徴注入技術が性能向上に与える影響を観察する。
  論文  参考訳（メタデータ） (2022-06-22T12:00:50Z)
• Towards Multi-Scale Style Control for Expressive Speech Synthesis [60.08928435252417]
  提案手法では,マルチスケール参照エンコーダを用いて,対象音声のグローバルな発話レベルと局所的な準音素レベルの特徴を抽出する。 訓練期間中、マルチスケールスタイルモデルは、エンドツーエンドで音声合成モデルと共同で訓練することができる。
  論文  参考訳（メタデータ） (2021-04-08T05:50:09Z)
• Audio-visual Speech Separation with Adversarially Disentangled Visual Representation [23.38624506211003]
  音声分離は、複数の同時話者による音声の混合から個々の音声を分離することを目的としている。 本モデルでは,顔検出器を用いて現場の話者数を検出し,視覚情報を用いて順列化問題を回避する。 提案モデルは,最先端のオーディオのみのモデルと3つのオーディオ視覚モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-29T10:48:42Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。