論文の概要: The taste of IPA: Towards open-vocabulary keyword spotting and forced alignment in any language

• arxiv url: http://arxiv.org/abs/2311.08323v2
• Date: Mon, 1 Apr 2024 23:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 12:32:59.842611
• Title: The taste of IPA: Towards open-vocabulary keyword spotting and forced alignment in any language
• Title（参考訳）: IPAの味:任意の言語におけるオープン語彙キーワードスポッティングと強制アライメントを目指して
• Authors: Jian Zhu, Changbing Yang, Farhan Samir, Jahurul Islam,
• Abstract要約: 音声処理のための音素モデルにより、未知の言語に対して強い言語横断的一般化が達成できることを示す。 任意の音声信号と音素シーケンスの開語彙マッチングが可能な多言語音声合成コントラスト埋め込みモデルであるCLAP-IPAを提案する。
• 参考スコア（独自算出の注目度）: 7.0944623704102625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this project, we demonstrate that phoneme-based models for speech processing can achieve strong crosslinguistic generalizability to unseen languages. We curated the IPAPACK, a massively multilingual speech corpora with phonemic transcriptions, encompassing more than 115 languages from diverse language families, selectively checked by linguists. Based on the IPAPACK, we propose CLAP-IPA, a multi-lingual phoneme-speech contrastive embedding model capable of open-vocabulary matching between arbitrary speech signals and phonemic sequences. The proposed model was tested on 95 unseen languages, showing strong generalizability across languages. Temporal alignments between phonemes and speech signals also emerged from contrastive training, enabling zeroshot forced alignment in unseen languages. We further introduced a neural forced aligner IPA-ALIGNER by finetuning CLAP-IPA with the Forward-Sum loss to learn better phone-to-audio alignment. Evaluation results suggest that IPA-ALIGNER can generalize to unseen languages without adaptation.
• Abstract（参考訳）: 本稿では,音声処理のための音素モデルを用いて,未知の言語に対して強い言語間共通性を実現することを実証する。 我々は,多言語音声コーパスであるIPAPACKを,多言語語族に属する115言語以上を対象とし,言語学者が選択的に検査した。 IPAPACKをベースとして,任意の音声信号と音素シーケンスの開語彙マッチングが可能な多言語音声合成コントラスト埋め込みモデルCLAP-IPAを提案する。 提案したモデルは95の未知の言語でテストされ、言語間で強い一般化性を示した。 音素と音声信号の時間的アライメントも、対照的な訓練から生まれ、目に見えない言語でのゼロショット強制アライメントを可能にした。 さらに, CLAP-IPAとフォワード・サムの損失を微調整し, 音声と音声のアライメントを改善するニューラル強制整合器IPA-ALIGNERを導入した。 評価結果から,IPA-ALIGNERは適応のない未確認言語に一般化可能であることが示唆された。

関連論文リスト

• Universal Automatic Phonetic Transcription into the International Phonetic Alphabet [21.000425416084706]
  任意の言語における音声をIPA(International Phonetic Alphabet)に翻訳するための最先端モデルを提案する。 我々のモデルはwav2vec 2.0に基づいており、オーディオ入力からIPAを予測するために微調整されている。 我々は,我々の共通音声-IPAモデルの品質が,人間のアノテータのそれに近いことを示す。
  論文  参考訳（メタデータ） (2023-08-07T21:29:51Z)
• Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling [92.55131711064935]
  本稿では,言語間音声合成のための言語間ニューラルネットワークモデル VALL-E X を提案する。 VALL-E Xは、強い文脈内学習能力を継承し、ゼロショット言語間テキスト音声合成やゼロショット音声音声音声翻訳タスクに応用できる。 未知の話者の声、感情、音響環境を保ちながら、ソース言語の1つの発話をプロンプトとして、ターゲット言語で高品質な音声を生成することができる。
  論文  参考訳（メタデータ） (2023-03-07T14:31:55Z)
• Revisiting IPA-based Cross-lingual Text-to-speech [11.010299086810994]
  International Phonetic Alphabet (IPA) は、言語間音声のクローニング(CL VC)を実現するために、TTS (cross-lingual text-to-speech) で広く使われている。 本稿では,IPAを入力として用いた言語間TSモデルの構築に関する実証的な知見を報告する。 実験により、IPAおよび上行シーケンスの処理方法がCLVCのパフォーマンスに無視できる影響があることが示されている。
  論文  参考訳（メタデータ） (2021-10-14T07:22:23Z)
• Differentiable Allophone Graphs for Language-Universal Speech Recognition [77.2981317283029]
  言語ユニバーサル音声認識システムを構築するには、言語間で共有可能な音声の音韻単位を生成する必要がある。 本稿では,音素転写と音声-音素マッピングのみから,音素レベルの監視を導出するための一般的な枠組みを提案する。 我々は,各言語に対する可読確率的音声-音素マッピングを用いた普遍的な電話ベース音声認識モデルを構築した。
  論文  参考訳（メタデータ） (2021-07-24T15:09:32Z)
• Phonological Features for 0-shot Multilingual Speech Synthesis [50.591267188664666]
  単言語モデルにおいても,トレーニング中に見つからない言語に対して,コードスイッチングが可能であることを示す。 テスト時には、訓練で見たことのない音の近似を含む、新しい言語で、理解不能で、コードスイッチトされた音声を生成する。
  論文  参考訳（メタデータ） (2020-08-06T18:25:18Z)
• That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages [72.9927937955371]
  我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。 我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。 分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T22:28:09Z)
• AlloVera: A Multilingual Allophone Database [137.3686036294502]
  AlloVeraは、218のアロフォンから14言語のための音素へのマッピングを提供する。 我々は、AlloVeraで構築された「ユニバーサル」アロフォンモデルであるAllosaurusが、音声書き起こしタスクにおいて「ユニバーサル」音声モデルと言語特化モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-17T02:02:18Z)
• Universal Phone Recognition with a Multilingual Allophone System [135.2254086165086]
  言語に依存しない音素分布と言語に依存しない音素分布の連成モデルを提案する。 11言語での多言語ASR実験では、このモデルにより2%の音素誤り率でテスト性能が向上することがわかった。 我々の認識器は17%以上の精度向上を実現し、世界中のすべての言語で音声認識に一歩近づいた。
  論文  参考訳（メタデータ） (2020-02-26T21:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。