論文の概要: Textless Speech-to-Speech Translation on Real Data

• arxiv url: http://arxiv.org/abs/2112.08352v1
• Date: Wed, 15 Dec 2021 18:56:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 13:10:50.280062
• Title: Textless Speech-to-Speech Translation on Real Data
• Title（参考訳）: 実データを用いたテキストなし音声音声合成
• Authors: Ann Lee, Hongyu Gong, Paul-Ambroise Duquenne, Holger Schwenk, Peng-Jen Chen, Changhan Wang, Sravya Popuri, Juan Pino, Jiatao Gu, Wei-Ning Hsu
• Abstract要約: 本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。 マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
• 参考スコア（独自算出の注目度）: 49.134208897722246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a textless speech-to-speech translation (S2ST) system that can translate speech from one language into another language and can be built without the need of any text data. Different from existing work in the literature, we tackle the challenge in modeling multi-speaker target speech and train the systems with real-world S2ST data. The key to our approach is a self-supervised unit-based speech normalization technique, which finetunes a pre-trained speech encoder with paired audios from multiple speakers and a single reference speaker to reduce the variations due to accents, while preserving the lexical content. With only 10 minutes of paired data for speech normalization, we obtain on average 3.2 BLEU gain when training the S2ST model on the \vp~S2ST dataset, compared to a baseline trained on un-normalized speech target. We also incorporate automatically mined S2ST data and show an additional 2.0 BLEU gain. To our knowledge, we are the first to establish a textless S2ST technique that can be trained with real-world data and works for multiple language pairs.
• Abstract（参考訳）: 本稿では,ある言語から別の言語へ音声を翻訳し,テキストデータなしで構築できるs2st(textless speech-to-speech translation)システムを提案する。 文献における既存の研究と異なり、マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に取り組む。 提案手法の鍵となるのは,複数話者からのペア音声と1つの参照話者による事前学習音声エンコーダを微調整し,アクセントによる変動を低減し,語彙内容を保存する,自己教師付き単位ベース音声正規化手法である。 音声正規化のためのペアデータはわずか10分で、非正規化音声ターゲットで訓練されたベースラインと比較して、s2stモデルを \vp~s2stデータセットでトレーニングする際に平均3.2 bleuゲインを得る。 また、自動マイニングされたS2STデータを組み込んで2.0BLEUゲインを示す。 我々の知る限り、私たちは、実世界のデータでトレーニングでき、複数の言語ペアで動作する、テキストレスのS2STテクニックを最初に確立しました。

関連論文リスト

• Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis [30.97784092953007]
  本稿では、アクセント付き音声認識を改善するためのデータ拡張手法として、教師なし音声合成(TTS)の使用について検討する。 TTSシステムは、手書き文字起こしではなく、少量のアクセント付き音声訓練データとそれらの擬似ラベルで訓練される。 この手法により,アクセント付き音声認識のためのデータ拡張を行うために,手書きの書き起こしを伴わないアクセント付き音声データを使用することが可能である。
  論文  参考訳（メタデータ） (2024-07-04T16:42:24Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
  本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。 我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
  論文  参考訳（メタデータ） (2022-11-11T20:21:38Z)
• Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation [94.80029087828888]
  直接音声音声翻訳 (S2ST) は, カスケードされたS2STと比較して, 優れた研究課題である。 直接S2STは、ソース言語の音声からターゲット言語の音声へのコーパスが非常に稀であるため、データ不足の問題に悩まされる。 本稿では,音声から音声への直接翻訳タスクのための音声とバイリンガルのテキストデータとを事前学習したSpeech2Sモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-31T02:55:51Z)
• Unified Speech-Text Pre-training for Speech Translation and Recognition [113.31415771943162]
  音声認識のためのエンコーダ・デコーダ・モデリング・フレームワークにおいて,音声とテキストを協調的に事前学習する手法について述べる。 提案手法は,4つの自己教師付きサブタスクを組み込んだクロスモーダル学習手法である。 MuST-C音声翻訳データセットの最先端よりも1.7から2.3BLEUの改善が達成されている。
  論文  参考訳（メタデータ） (2022-04-11T20:59:51Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Transfer Learning Framework for Low-Resource Text-to-Speech using a Large-Scale Unlabeled Speech Corpus [10.158584616360669]
  テキスト音声(TTS)モデルのトレーニングには,大規模テキストラベル付き音声コーパスが必要となる。 本稿では、事前学習に大量のラベルなし音声データセットを利用するTSの転送学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-29T11:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。