論文の概要: Joint Pre-Training with Speech and Bilingual Text for Direct Speech to
Speech Translation
- arxiv url: http://arxiv.org/abs/2210.17027v1
- Date: Mon, 31 Oct 2022 02:55:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 18:48:03.556379
- Title: Joint Pre-Training with Speech and Bilingual Text for Direct Speech to
Speech Translation
- Title(参考訳): 音声から音声への直接翻訳のための音声とバイリンガルテキストの合同事前学習
- Authors: Kun Wei, Long Zhou, Ziqiang Zhang, Liping Chen, Shujie Liu, Lei He,
Jinyu Li, Furu Wei
- Abstract要約: 直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。
直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。
本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
- 参考スコア(独自算出の注目度): 94.80029087828888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Direct speech-to-speech translation (S2ST) is an attractive research topic
with many advantages compared to cascaded S2ST. However, direct S2ST suffers
from the data scarcity problem because the corpora from speech of the source
language to speech of the target language are very rare. To address this issue,
we propose in this paper a Speech2S model, which is jointly pre-trained with
unpaired speech and bilingual text data for direct speech-to-speech translation
tasks. By effectively leveraging the paired text data, Speech2S is capable of
modeling the cross-lingual speech conversion from source to target language. We
verify the performance of the proposed Speech2S on Europarl-ST and VoxPopuli
datasets. Experimental results demonstrate that Speech2S gets an improvement of
about 5 BLEU scores compared to encoder-only pre-training models, and achieves
a competitive or even better performance than existing state-of-the-art
models1.
- Abstract(参考訳): 直接音声音声翻訳(S2ST)は,カスケードされたS2STに比べて多くの利点がある。
しかし、ソース言語の音声からターゲット言語の音声へのコーパスは非常に稀であるため、直接S2STはデータ不足の問題に悩まされる。
そこで本論文では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを併用したSpeech2Sモデルを提案する。
ペア化されたテキストデータを効果的に活用することにより、Speech2Sはソースからターゲット言語への言語間変換をモデル化することができる。
本研究では,Europarl-STおよびVoxPopuliデータセット上で提案したSpeech2Sの性能を検証する。
実験結果から,Speech2Sはエンコーダのみの事前学習モデルに比べて約5BLEUのスコアが向上し,既存の最先端モデルよりも競争力や性能が向上していることがわかった。
関連論文リスト
- Speech-to-Speech Translation with Discrete-Unit-Based Style Transfer [56.933140743757555]
個別の自己教師付き表現を用いた音声音声合成(S2ST)は顕著な精度を達成している。
高品質な話者並列データの不足は、ソースとターゲットの音声間のスタイル伝達を学習する上での課題となる。
本稿では,自己教師型モデルから独立した単位をベースとした音響言語モデルと,スタイル伝達のためのニューラルネットワークを用いたS2STフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-14T09:52:08Z) - Textless Low-Resource Speech-to-Speech Translation With Unit Language
Models [56.1058530241461]
本稿では,テキストレス低音源音声合成システム(S2ST)を学習するための新しいフレームワークを提案する。
我々はS2STを単位から単位へのセク2セク翻訳タスクとして微調整し、大規模単言語音声データに対する事前学習から始める。
3つのドメインで英語、ドイツ語、マラティー語、英語の翻訳をトレーニングし、評価する。
論文 参考訳(メタデータ) (2023-05-24T17:59:05Z) - Enhancing Speech-to-Speech Translation with Multiple TTS Targets [62.18395387305803]
直接S2STモデルに対する合成対象音声の変更の効果を解析する。
異なるTSシステムから複数のターゲットを持つS2STシステムを協調的に最適化するマルチタスクフレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-10T14:33:33Z) - Textless Direct Speech-to-Speech Translation with Discrete Speech
Representation [27.182170555234226]
本研究では,テキストの監督なしにエンドツーエンドの直接S2STモデルをトレーニングするための新しいモデルであるTextless Translatotronを提案する。
教師なし音声データで事前訓練された音声エンコーダを両方のモデルに使用すると、提案モデルはトランスラトトロン2とほぼ同等の翻訳品質が得られる。
論文 参考訳(メタデータ) (2022-10-31T19:48:38Z) - Improving Speech-to-Speech Translation Through Unlabeled Text [39.28273721043411]
直接音声音声変換(S2ST)は、翻訳パラダイムにおいて最も難しい問題の一つである。
そこで本稿では,S2STデータを生成するために,異なる言語からの大量の未ラベルテキストを効果的に活用する方法を提案する。
論文 参考訳(メタデータ) (2022-10-26T06:52:19Z) - Enhanced Direct Speech-to-Speech Translation Using Self-supervised
Pre-training and Data Augmentation [76.13334392868208]
直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。
本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
論文 参考訳(メタデータ) (2022-04-06T17:59:22Z) - Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。
マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
論文 参考訳(メタデータ) (2021-12-15T18:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。