論文の概要: Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment

• arxiv url: http://arxiv.org/abs/2406.15723v1
• Date: Sat, 22 Jun 2024 03:56:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:54:52.670280
• Title: Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment
• Title（参考訳）: バランスの取れた複数アスペクトの発音評価のための音響的特徴の混合
• Authors: Heejin Do, Wonjun Lee, Gary Geunbae Lee,
• Abstract要約: データ不足とスコア・ラベルの不均衡に対処する2つの音響特徴混合手法を提案する。 音声認識結果と元の応答音素を比較し,誤発音のヒントを与える。
• 参考スコア（独自算出の注目度）: 7.519788903817844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In automated pronunciation assessment, recent emphasis progressively lies on evaluating multiple aspects to provide enriched feedback. However, acquiring multi-aspect-score labeled data for non-native language learners' speech poses challenges; moreover, it often leads to score-imbalanced distributions. In this paper, we propose two Acoustic Feature Mixup strategies, linearly and non-linearly interpolating with the in-batch averaged feature, to address data scarcity and score-label imbalances. Primarily using goodness-of-pronunciation as an acoustic feature, we tailor mixup designs to suit pronunciation assessment. Further, we integrate fine-grained error-rate features by comparing speech recognition results with the original answer phonemes, giving direct hints for mispronunciation. Effective mixing of the acoustic features notably enhances overall scoring performances on the speechocean762 dataset, and detailed analysis highlights our potential to predict unseen distortions.
• Abstract（参考訳）: 自動発音評価において、近年の重点は、豊富なフィードバックを提供するために複数の側面を評価することにある。 しかし、非母国語学習者の発話に対するマルチアスペクトスコアラベル付きデータを取得することは、しばしばスコアバランスの取れない分布につながる。 本稿では,データ不足とスコア・ラベルの不均衡に対処するため,2つの音響的特徴混合手法を提案する。 主に発音の良さを音響的特徴として用いて,発音評価に適した混合設計を調整した。 さらに,音声認識結果と元の応答音素を比較し,誤発音のヒントを与えることによって,高精度な誤り率特徴を統合する。 音響特性を効果的に混合することにより,音声オクタン762データセットの総合的なスコアリング性能が向上し,詳細な解析により未知の歪みを予測する可能性が示された。

関連論文リスト

• Score-balanced Loss for Multi-aspect Pronunciation Assessment [3.6825890616838066]
  不均一なデータに起因する問題に対処するため,新たな損失関数であるスコアバランス損失を提案する。 再重み付け手法として、予測スコアがマイノリティクラスの場合、より高いコストを割り当てる。 本手法は,いくつかの面において不均衡なスコアを持つ音声強調762データセット上で評価する。
  論文  参考訳（メタデータ） (2023-05-26T06:21:37Z)
• Self-supervised Fine-tuning for Improved Content Representations by Speaker-invariant Clustering [78.2927924732142]
  話者不変クラスタリング(Spin)を自己教師付き学習手法として提案する。 Spinは、単一のGPU上で45分間の微調整で、スピーカー情報を切り離し、コンテンツ表現を保存する。
  論文  参考訳（メタデータ） (2023-05-18T15:59:36Z)
• Robust Acoustic and Semantic Contextual Biasing in Neural Transducers for Speech Recognition [14.744220870243932]
  そこで本稿では,文脈バイアスを改善するために,軽量な文字表現を用いて微粒な発音特徴を符号化することを提案する。 さらに、事前学習されたニューラルネットワークモデル(NLM)をベースとしたエンコーダを統合し、発話の意味的文脈を符号化する。 Librispeechデータセット上のConformer Transducerモデルを用いた実験では、異なるバイアスリストサイズに対するWERの相対的な改善が4.62%から9.26%である。
  論文  参考訳（メタデータ） (2023-05-09T08:51:44Z)
• Contrastive-mixup learning for improved speaker verification [17.93491404662201]
  本稿では,話者検証のためのミックスアップによるプロトタイプ損失の新しい定式化を提案する。 Mixupは、ランダムなデータポイントとラベルペアの重み付けを組み合わせた、シンプルだが効率的なデータ拡張技術である。
  論文  参考訳（メタデータ） (2022-02-22T05:09:22Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)
• Speaker Embedding-aware Neural Diarization for Flexible Number of Speakers with Textual Information [55.75018546938499]
  本稿では,話者埋め込み認識型ニューラルダイアリゼーション(SEND)手法を提案する。 本手法は,ターゲット話者の音声活動検出よりも低いダイアリゼーション誤差率を実現する。
  論文  参考訳（メタデータ） (2021-11-28T12:51:04Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• An Approach to Mispronunciation Detection and Diagnosis with Acoustic, Phonetic and Linguistic (APL) Embeddings [18.282632348274756]
  大量の単語レベルのアノテーションで訓練されたASRモデルから抽出された音声埋め込みは、入力音声の内容のよい表現として機能する。 我々は,より強力なMD&Dシステムを構築するために,音響,音声,言語 (APL) の埋め込み機能を併用することを提案する。
  論文  参考訳（メタデータ） (2021-10-14T11:25:02Z)
• Visualizing Classifier Adjacency Relations: A Case Study in Speaker Verification and Voice Anti-Spoofing [72.4445825335561]
  任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。 ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。 提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:33Z)
• Predicting the Humorousness of Tweets Using Gaussian Process Preference Learning [56.18809963342249]
  本稿では,人間の嗜好判断と言語アノテーションの自動生成を利用して,短文のユーモラスさのランク付けと評価を学習する確率論的アプローチを提案する。 本研究は, HAHA@IberLEF 2019データにおける数値スコアの変換と, 提案手法に必要な判定アノテーションの相互変換から生じる問題点について報告する。
  論文  参考訳（メタデータ） (2020-08-03T13:05:42Z)
• Statistical Context-Dependent Units Boundary Correction for Corpus-based Unit-Selection Text-to-Speech [1.4337588659482519]
  本稿では, 分割の精度を向上させるために, 単位選択テキスト音声(TTS)システムに適用するための, 話者適応のための革新的な手法を提案する。 従来の話者適応手法とは違って,言語分析手法を応用した文脈依存特性のみの利用を目標としている。
  論文  参考訳（メタデータ） (2020-03-05T12:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。