論文の概要: Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID

• arxiv url: http://arxiv.org/abs/2412.19043v1
• Date: Thu, 26 Dec 2024 03:37:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:43.756966
• Title: Indonesian-English Code-Switching Speech Synthesizer Utilizing Multilingual STEN-TTS and Bert LID
• Title（参考訳）: 多言語 STEN-TTS と Bert LID を用いたインドネシア英語コードスイッチング音声合成装置
• Authors: Ahmad Alfani Handoyo, Chung Tran, Dessi Puji Lestari, Sakriani Sakti,
• Abstract要約: 本研究は、STEN-TTSにおけるインドネシア英語のコードスイッチングに対処する。 主な変更点は、テキストから音素への変換に言語識別コンポーネントを追加することである。 実験結果から, コードスイッチングモデルにより, 自然性が向上し, 音声の明瞭度が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 8.470658879969053
• License:
• Abstract: Multilingual text-to-speech systems convert text into speech across multiple languages. In many cases, text sentences may contain segments in different languages, a phenomenon known as code-switching. This is particularly common in Indonesia, especially between Indonesian and English. Despite its significance, no research has yet developed a multilingual TTS system capable of handling code-switching between these two languages. This study addresses Indonesian-English code-switching in STEN-TTS. Key modifications include adding a language identification component to the text-to-phoneme conversion using finetuned BERT for per-word language identification, as well as removing language embedding from the base model. Experimental results demonstrate that the code-switching model achieves superior naturalness and improved speech intelligibility compared to the Indonesian and English baseline STEN-TTS models.
• Abstract（参考訳）: 多言語テキスト音声システムは、テキストを複数の言語にまたがる音声に変換する。 多くの場合、テキストは、コードスイッチング(code-switching)として知られる、異なる言語のセグメントを含むことがある。 特にインドネシアでは、特にインドネシア語と英語の間で一般的である。 その重要性にもかかわらず、この2つの言語間のコードスイッチングを処理できる多言語TSシステムはまだ開発されていない。 本研究は、STEN-TTSにおけるインドネシア英語のコードスイッチングに対処する。 主な変更点は、単語ごとの言語識別に微細なBERTを使用してテキストから音声への変換に言語識別コンポーネントを追加すること、ベースモデルから言語埋め込みを削除することである。 実験により, インドネシア語と英語のベースラインSTEN-TTSモデルと比較して, コードスイッチングモデルの方が自然性に優れ, 音声の明瞭さが向上していることが示された。

関連論文リスト

• CoVoSwitch: Machine Translation of Synthetic Code-Switched Text Based on Intonation Units [0.0]
  コードスイッチングデータをPSSTで検出したインネーションユニットに置き換えて合成する。 我々はM2M-100 418MとNLLB-200 600Mの2つの多言語翻訳モデルのコードスイッチング翻訳性能を評価する。
  論文  参考訳（メタデータ） (2024-07-19T13:26:35Z)
• CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving [61.73180469072787]
  インド語から英語のテキストへのコード変更音声の音声翻訳(ST)の問題に焦点をあてる。 本稿では、事前訓練された自動音声認識(ASR)と機械翻訳(MT)モジュールを足場として、新しいエンドツーエンドモデルアーキテクチャCOSTAを提案する。 COSTAは、多くの競合するカスケードおよびエンドツーエンドのマルチモーダルベースラインを3.5BLEUポイントまで上回っている。
  論文  参考訳（メタデータ） (2024-06-16T16:10:51Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition [62.997667081978825]
  コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。 本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。 さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-17T12:15:57Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Code Switched and Code Mixed Speech Recognition for Indic languages [0.0]
  多言語自動音声認識(ASR)システムの訓練は、音響情報と語彙情報が典型的には言語固有のものであるため困難である。 言語識別(LID)に基づく一言語モデルとエンドツーエンドの多言語音声認識システムの性能を比較した。 また,Hindi- English と Bengali- English の相似解法を提案し,それぞれ 21.77 と 28.27 の WER を実現する。
  論文  参考訳（メタデータ） (2022-03-30T18:09:28Z)
• Multilingual and code-switching ASR challenges for low resource Indian languages [59.2906853285309]
  インドの7つの言語に関連する2つのサブタスクを通じて、多言語およびコードスイッチングASRシステムの構築に重点を置いている。 これらの言語では、列車とテストセットからなる600時間分の音声データを合計で提供します。 また,マルチリンガルサブタスクとコードスイッチサブタスクのテストセットでは,それぞれ30.73%と32.45%という,タスクのベースラインレシピも提供しています。
  論文  参考訳（メタデータ） (2021-04-01T03:37:01Z)
• Phonological Features for 0-shot Multilingual Speech Synthesis [50.591267188664666]
  単言語モデルにおいても,トレーニング中に見つからない言語に対して,コードスイッチングが可能であることを示す。 テスト時には、訓練で見たことのない音の近似を含む、新しい言語で、理解不能で、コードスイッチトされた音声を生成する。
  論文  参考訳（メタデータ） (2020-08-06T18:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。