論文の概要: TIPAA-SSL: Text Independent Phone-to-Audio Alignment based on Self-Supervised Learning and Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2405.02124v1
• Date: Fri, 3 May 2024 14:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 12:46:03.813336
• Title: TIPAA-SSL: Text Independent Phone-to-Audio Alignment based on Self-Supervised Learning and Knowledge Transfer
• Title（参考訳）: TIPAA-SSL: 自己指導型学習と知識伝達に基づくテキスト独立型電話対オーディオアライメント
• Authors: Noé Tits, Prernna Bhatnagar, Thierry Dutoit,
• Abstract要約: 本稿では,音素認識,表現学習,知識伝達に基づくテキスト独立型音声アライメントのための新しいアプローチを提案する。 我々は、TIMITデータセットとSCRIBEデータセットの合成ネイティブデータを用いて、アメリカ英語とイギリス英語のモデルを評価する。 提案手法は,統計的指標における最先端(シャルシウ)よりも優れ,言語学習や音声処理システムに応用されている。
• 参考スコア（独自算出の注目度）: 3.9981390090442694
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper, we present a novel approach for text independent phone-to-audio alignment based on phoneme recognition, representation learning and knowledge transfer. Our method leverages a self-supervised model (wav2vec2) fine-tuned for phoneme recognition using a Connectionist Temporal Classification (CTC) loss, a dimension reduction model and a frame-level phoneme classifier trained thanks to forced-alignment labels (using Montreal Forced Aligner) to produce multi-lingual phonetic representations, thus requiring minimal additional training. We evaluate our model using synthetic native data from the TIMIT dataset and the SCRIBE dataset for American and British English, respectively. Our proposed model outperforms the state-of-the-art (charsiu) in statistical metrics and has applications in language learning and speech processing systems. We leave experiments on other languages for future work but the design of the system makes it easily adaptable to other languages.
• Abstract（参考訳）: 本稿では,音素認識,表現学習,知識伝達に基づくテキスト独立型音声アライメントのための新しいアプローチを提案する。 本手法は,コネクショニスト時間分類(CTC)の損失,次元縮小モデル,およびフレームレベル音素分類器を用いて,自己教師付きモデル(wav2vec2)を微調整し,多言語音声表現を生成するために,強制調整ラベル(モントリオール強制アリグナーを使用)により訓練されたフレームレベル音素分類器を利用する。 我々は、TIMITデータセットとSCRIBEデータセットの合成ネイティブデータを用いて、それぞれアメリカ英語とイギリス英語のモデルを評価する。 提案手法は,統計的指標における最先端(シャルシウ)よりも優れ,言語学習や音声処理システムに応用されている。 将来的な作業のために他の言語に実験を残しますが、システムの設計によって、他の言語にも容易に適応できます。

関連論文リスト

• An Initial Investigation of Language Adaptation for TTS Systems under Low-resource Scenarios [76.11409260727459]
  本稿では,最近のSSLベースの多言語TSシステムであるZMM-TTSの言語適応性について検討する。 本研究では,事前学習言語と対象言語との音声学的な類似性が,対象言語の適応性能に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-06-13T08:16:52Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Isometric Neural Machine Translation using Phoneme Count Ratio Reward-based Reinforcement Learning [31.26989690734889]
  本稿では,Reinforcement Learning (RL) を用いた等尺的NMTシステムの開発について述べる。 提案モデルを評価するため,長さコンプライアンス尺度であるPhonme Count Compliance(PCC)スコアを提案する。 提案手法は,英語-ヒンディー語対に適用した場合の最先端モデルと比較して,PCCスコアが約36%向上したことを示す。
  論文  参考訳（メタデータ） (2024-03-20T08:52:40Z)
• Few-Shot Cross-Lingual TTS Using Transferable Phoneme Embedding [55.989376102986654]
  本稿では,言語間テキスト-音声間問題に対処するための移動可能な音素埋め込みフレームワークについて,数ショット設定で検討する。 本稿では,音素ベースのTSモデルと,異なる言語からの音素を学習潜在空間に投影するコードブックモジュールからなるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-27T11:24:40Z)
• Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition [71.49308685090324]
  本稿では,未知言語における音声認識における異なる要因(モデルアーキテクチャ,音韻モデル,音声表現の種類)の影響について検討する。 独特な音、類似した音、トーン言語は、音声による在庫発見の大きな課題である。
  論文  参考訳（メタデータ） (2022-01-26T22:12:55Z)
• Deciphering Speech: a Zero-Resource Approach to Cross-Lingual Transfer in ASR [13.726142328715897]
  本稿では、ターゲット言語からの全く転写されていないトレーニングデータを用いて、ASRシステムの言語間訓練を行う方法を提案する。 提案手法は,対象言語からの未ペア音声とテキストデータのみを演算する復号アルゴリズムの新たな適用法である。
  論文  参考訳（メタデータ） (2021-11-12T16:16:46Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Acoustics Based Intent Recognition Using Discovered Phonetic Units for Low Resource Languages [51.0542215642794]
  本稿では,検出された音素単位を意図分類に用いる新しい音響に基づく意図認識システムを提案する。 我々は,2つの言語群 – インディカル言語とロマンス言語 – に対する2つの異なる意図認識タスクの結果を提示する。
  論文  参考訳（メタデータ） (2020-11-07T00:35:31Z)
• LSTM Acoustic Models Learn to Align and Pronounce with Graphemes [22.453756228457017]
  そこで本研究では,純粋にデータ駆動型で学習可能なグラファイムに基づく音声認識手法を提案する。 大規模なデータセットで学習すると,音素出力モデルとWERが競合することを示す。
  論文  参考訳（メタデータ） (2020-08-13T21:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。