論文の概要: TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data

• arxiv url: http://arxiv.org/abs/2401.12992v1
• Date: Wed, 17 Jan 2024 11:52:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-28 15:30:29.195648
• Title: TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
• Title（参考訳）: TranSentence:Language-Agnostic Sentence-level Speech Encoding without Language-parallel Data
• Authors: Seung-Bin Kim, Sang-Hoon Lee, Seong-Whan Lee
• Abstract要約: TranSentenceは、言語並列音声データを持たない新しい音声から音声への翻訳である。 我々は、言語に依存しない文レベルの音声エンコーダから得られるエンコード埋め込みに基づいて音声を生成するために、我々のモデルを訓練する。 我々はTranSentenceを多言語音声音声翻訳に拡張する。
• 参考スコア（独自算出の注目度）: 44.83532231917504
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Although there has been significant advancement in the field of speech-to-speech translation, conventional models still require language-parallel speech data between the source and target languages for training. In this paper, we introduce TranSentence, a novel speech-to-speech translation without language-parallel speech data. To achieve this, we first adopt a language-agnostic sentence-level speech encoding that captures the semantic information of speech, irrespective of language. We then train our model to generate speech based on the encoded embedding obtained from a language-agnostic sentence-level speech encoder that is pre-trained with various languages. With this method, despite training exclusively on the target language's monolingual data, we can generate target language speech in the inference stage using language-agnostic speech embedding from the source language speech. Furthermore, we extend TranSentence to multilingual speech-to-speech translation. The experimental results demonstrate that TranSentence is superior to other models.
• Abstract（参考訳）: 音声から音声への翻訳の分野では大きな進歩があったが、従来のモデルでは、訓練にはソースとターゲット言語間の言語並列音声データが必要である。 本稿では,言語並列音声データを用いない新しい音声対音声翻訳であるtransentenceを提案する。 これを実現するために,まず,言語によらず音声の意味情報をキャプチャする,言語に依存しない文レベルの音声符号化を採用する。 次に,様々な言語で事前学習された言語非依存の文レベルの音声エンコーダから得られた符号化埋め込みに基づく音声生成を学習する。 この方法では、対象言語のモノリンガルデータのみを訓練しながら、ソース言語音声から言語に依存しない音声を埋め込み、推論段階でターゲット言語音声を生成することができる。 さらに、TranSentenceを多言語音声合成に拡張する。 実験の結果, トランスエンテンスは他のモデルよりも優れていることがわかった。

関連論文リスト

• Cross-Lingual Transfer Learning for Speech Translation [7.802021866251242]
  本稿では,制限データを用いた音声基礎モデルの音声翻訳機能の拡張について検討する。 Whisperは、音声認識と英訳に強い性能を持つ音声基礎モデルであり、その例として用いられる。 音声から音声への検索を用いて,エンコーダが生成した音声表現を分析し,異なる言語からの発話を共有意味空間にマッピングすることを示す。
  論文  参考訳（メタデータ） (2024-07-01T09:51:48Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling [92.55131711064935]
  本稿では,言語間音声合成のための言語間ニューラルネットワークモデル VALL-E X を提案する。 VALL-E Xは、強い文脈内学習能力を継承し、ゼロショット言語間テキスト音声合成やゼロショット音声音声音声翻訳タスクに応用できる。 未知の話者の声、感情、音響環境を保ちながら、ソース言語の1つの発話をプロンプトとして、ターゲット言語で高品質な音声を生成することができる。
  論文  参考訳（メタデータ） (2023-03-07T14:31:55Z)
• Code-Switching without Switching: Language Agnostic End-to-End Speech Translation [68.8204255655161]
  我々は音声認識と翻訳を一貫したエンドツーエンドの音声翻訳問題として扱う。 LASTを両方の入力言語で訓練することにより、入力言語に関係なく、音声を1つのターゲット言語にデコードする。
  論文  参考訳（メタデータ） (2022-10-04T10:34:25Z)
• LibriS2S: A German-English Speech-to-Speech Translation Corpus [12.376309678270275]
  我々はドイツ語と英語による音声合成訓練コーパスを初めて公開する。 これにより、新しい音声合成モデルと音声合成モデルの作成が可能になる。 本稿では,最近提案されたFastSpeech 2モデルの例に基づくテキスト音声合成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-22T09:33:31Z)
• UWSpeech: Speech to Speech Translation for Unwritten Languages [145.37116196042282]
  UWSpeechと名づけられた非書き言語のための翻訳システムを開発し、対象の非書き言語をコンバータで個別のトークンに変換する。 本稿では,ベクトル量子化変分オートエンコーダ(VQ-VAE)を言語間音声認識(XL)で拡張するXL-VAE法を提案する。 スペイン語と英語の会話翻訳データセットの実験では、UWSpeechは、それぞれ16点と10点のBLEUポイントで直接翻訳とVQ-VAEベースラインを上回っている。
  論文  参考訳（メタデータ） (2020-06-14T15:22:12Z)
• Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario [10.779568857641928]
  本稿では,多言語話者音声合成を実現するために,Tacotron2の拡張を提案する。 我々は、単言語話者のための英語とマンダリンの間で、コードスイッチングを含む言語間合成を実現する。
  論文  参考訳（メタデータ） (2020-05-21T03:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。