Fugu-MT 論文翻訳(概要): Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation

論文の概要: Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation

arxiv url: http://arxiv.org/abs/2406.17363v1
Date: Tue, 25 Jun 2024 08:26:41 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 15:11:49.066959
Title: Leveraging Synthetic Audio Data for End-to-End Low-Resource Speech Translation
Title（参考訳）: エンド・ツー・エンド低音源音声翻訳のための合成音声データの活用
Authors: Yasmin Moslem,
Abstract要約: 本稿では,国際音声言語翻訳会議(IWSLT 2024)へのシステム提出について述べる。我々はWhisperに基づくエンドツーエンドシステムを構築し、音声のバックトランスレーションやノイズ拡張など、多くのデータ拡張手法を採用した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes our system submission to the International Conference on Spoken Language Translation (IWSLT 2024) for Irish-to-English speech translation. We built end-to-end systems based on Whisper, and employed a number of data augmentation techniques, such as speech back-translation and noise augmentation. We investigate the effect of using synthetic audio data and discuss several methods for enriching signal diversity.
Abstract（参考訳）: 本稿では,アイルランド語から英語への音声翻訳のための国際音声翻訳会議(IWSLT 2024)へのシステム提出について述べる。我々はWhisperに基づくエンドツーエンドシステムを構築し、音声のバックトランスレーションやノイズ拡張など、多くのデータ拡張手法を採用した。本稿では,合成音声データを用いた効果について検討し,信号の多様性を高めるためのいくつかの方法について議論する。

関連論文リスト

TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
論文参考訳（メタデータ） (2024-05-28T04:11:37Z)
Transfer the linguistic representations from TTS to accent conversion with non-parallel data [7.376032484438044]
アクセント変換は、話者のアイデンティティを保ちながら、ソース音声のアクセントをターゲットアクセントに変換することを目的としている。本稿ではアクセントに依存しない言語表現を学習するアクセント変換のための新しい非自己回帰フレームワークを提案する。
論文参考訳（メタデータ） (2024-01-07T16:39:34Z)
Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。音声言語理解モジュールを導入し、話者関連意味情報を抽出する。本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
論文参考訳（メタデータ） (2023-09-19T09:13:30Z)
KIT's Multilingual Speech Translation System for IWSLT 2023 [58.5152569458259]
IWSLT 2023の多言語トラックに対する音声翻訳システムについて述べる。このタスクは、様々な量のリソースを持つ10の言語に翻訳する必要がある。我々のケースド音声システムは、科学的な話の翻訳において、エンドツーエンドの音声よりも大幅に優れています。
論文参考訳（メタデータ） (2023-06-08T16:13:20Z)
ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
論文参考訳（メタデータ） (2022-03-29T11:55:30Z)
Sample, Translate, Recombine: Leveraging Audio Alignments for Data Augmentation in End-to-end Speech Translation [14.839931533868176]
本稿では,音声アライメント,言語特性,翻訳を利用したデータ拡張手法を提案する。提案手法は,CoVoST 2上の5つの言語対とEuroparl-ST上の2つの言語対に対して,最大0.9と1.1のBLEU点を一貫した改善を提供する。
論文参考訳（メタデータ） (2022-03-16T17:15:46Z)
FST: the FAIR Speech Translation System for the IWSLT21 Multilingual Shared Task [36.51221186190272]
IWSLT 2021評価キャンペーンに提出したエンドツーエンドの多言語音声翻訳システムについて述べる。本システムは,モダリティ,タスク,言語間の伝達学習を活用して構築する。
論文参考訳（メタデータ） (2021-07-14T19:43:44Z)
The NiuTrans End-to-End Speech Translation System for IWSLT 2021 Offline Task [23.008938777422767]
本稿では,IWSLT 2021オフラインタスクに対して,NuTransのエンドツーエンド音声翻訳システムを提案する。我々はTransformerベースのモデルアーキテクチャを使用し、Conformer、相対位置符号化、スタックされた音響およびテキスト符号化により拡張する。我々は MuST-C En-De テストセット上で 33.84 BLEU 点を達成する。
論文参考訳（メタデータ） (2021-07-06T07:45:23Z)
Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation [125.59372403631006]
マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
論文参考訳（メタデータ） (2020-05-16T15:47:11Z)
Speaker Diarization with Lexical Information [59.983797884955]
本研究では,音声認識による語彙情報を活用した話者ダイアリゼーション手法を提案する。本稿では,話者クラスタリングプロセスに単語レベルの話者回転確率を組み込んだ話者ダイアリゼーションシステムを提案し,全体的なダイアリゼーション精度を向上させる。
論文参考訳（メタデータ） (2020-04-13T17:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。