論文の概要: Back Translation for Speech-to-text Translation Without Transcripts

• arxiv url: http://arxiv.org/abs/2305.08709v1
• Date: Mon, 15 May 2023 15:12:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 14:08:52.246925
• Title: Back Translation for Speech-to-text Translation Without Transcripts
• Title（参考訳）: 転写のない音声からテキストへの翻訳
• Authors: Qingkai Fang, Yang Feng
• Abstract要約: 単言語対象データから擬似STデータを合成するためのST(BT4ST)の逆変換アルゴリズムを開発した。 短時間から長期にわたる生成と一対一のマッピングによる課題を解消するため,自己管理型離散単位を導入した。 合成STデータを用いて、MuST-C En-De、En-Fr、En-Esデータセット上で平均2.3BLEUを達成する。
• 参考スコア（独自算出の注目度）: 11.13240570688547
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The success of end-to-end speech-to-text translation (ST) is often achieved by utilizing source transcripts, e.g., by pre-training with automatic speech recognition (ASR) and machine translation (MT) tasks, or by introducing additional ASR and MT data. Unfortunately, transcripts are only sometimes available since numerous unwritten languages exist worldwide. In this paper, we aim to utilize large amounts of target-side monolingual data to enhance ST without transcripts. Motivated by the remarkable success of back translation in MT, we develop a back translation algorithm for ST (BT4ST) to synthesize pseudo ST data from monolingual target data. To ease the challenges posed by short-to-long generation and one-to-many mapping, we introduce self-supervised discrete units and achieve back translation by cascading a target-to-unit model and a unit-to-speech model. With our synthetic ST data, we achieve an average boost of 2.3 BLEU on MuST-C En-De, En-Fr, and En-Es datasets. More experiments show that our method is especially effective in low-resource scenarios.
• Abstract（参考訳）: エンドツーエンドの音声テキスト翻訳(ST)の成功は、例えば、自動音声認識(ASR)と機械翻訳(MT)タスクを事前訓練したり、追加のASRとMTデータを導入することで、ソースの書き起こしを活用することでしばしば達成される。 残念ながら、書き起こし言語が世界中で多数存在するため、文字起こしは時折しか利用できない。 本稿では,大量のターゲット側モノリンガルデータを用いて,文字起こしなしでSTを向上させることを目的とする。 MTにおける後方翻訳の顕著な成功により,単言語対象データから擬似STデータを合成するST(BT4ST)の後方翻訳アルゴリズムを開発した。 短時間生成と一対多マッピングによって生じる課題を緩和するために, 自己教師付き離散単位を導入し, 目標間モデルと単位間モデルとをカスケードし, 逆変換を実現する。 合成STデータを用いて、MuST-C En-De、En-Fr、En-Esデータセット上で平均2.3BLEUを達成する。 さらなる実験により,本手法は低リソースシナリオにおいて特に有効であることが示された。

関連論文リスト

• Pushing the Limits of Zero-shot End-to-End Speech Translation [15.725310520335785]
  データ不足とテキストモダリティ間のモダリティギャップは、エンドツーエンド音声翻訳(ST)システムの2つの大きな障害である。 ゼロショットSTの手法であるZeroSwotを導入し、ペアSTデータを使わずにモダリティギャップをブリッジする。 実験の結果,STデータを使わずにモダリティギャップを効果的に塞ぐことが可能であること,MuST-CとCoVoSTで得られた結果が本手法の優位性を示している。
  論文  参考訳（メタデータ） (2024-02-16T03:06:37Z)
• End-to-End Speech-to-Text Translation: A Survey [0.0]
  音声からテキストへの翻訳(英: Speech-to-text translation)とは、ある言語の音声信号を他の言語のテキストに変換するタスクである。 機械翻訳(MT)モデルと同様に、自動音声認識(ASR)は従来のST翻訳において重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-12-02T07:40:32Z)
• DUB: Discrete Unit Back-translation for Speech Translation [32.74997208667928]
  我々は2つの質問に答えるために、離散単位逆変換(DUB)を提案する: 直接STにおける連続的な特徴よりも、離散単位による音声を表現する方がよいか? DUBでは、バックトランスレーション技術が直接STに適用され、MuST-C En-De/Fr/Es上で平均5.5BLEUを得る。 低リソースの言語シナリオでは,大規模な外部データに依存する既存手法と同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-05-19T03:48:16Z)
• Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
  本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。 我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
  論文  参考訳（メタデータ） (2022-11-11T20:21:38Z)
• Simple and Effective Unsupervised Speech Translation [68.25022245914363]
  ラベル付きデータなしで音声翻訳システムを構築するための,シンプルで効果的な手法について検討する。 事前学習された音声モデルに対する教師なし領域適応手法を提案する。 実験により、教師なし音声からテキストへの翻訳は、それまでの教師なし状態よりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-10-18T22:26:13Z)
• Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation [71.35243644890537]
  エンドツーエンド音声翻訳(ST)は、中間転写を生成することなく、ソース言語音声を対象言語テキストに翻訳することを目的としている。 既存のゼロショット法は、音声とテキストの2つのモダリティを共有意味空間に合わせることに失敗する。 音声とテキストの両方のモダリティに適合する離散語彙空間を共用した離散的クロスモーダルアライメント(DCMA)法を提案する。
  論文  参考訳（メタデータ） (2022-10-18T03:06:47Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Tackling data scarcity in speech translation using zero-shot multilingual machine translation techniques [12.968557512440759]
  ゼロショット翻訳にはいくつかの手法が提案されている。 音声翻訳データとテキスト翻訳データに基づいて訓練されたSTモデルを構築することにより,これらのアイデアが音声翻訳に適用できるかどうかを検討する。 これらの技術は制限されたSTデータを用いて数発のSTに適用され、ASRモデルから微調整されたSTモデルと比較して、直接のSTと+3.1のBLEUポイントに比べて最大+12.9のBLEUポイントの改善がなされた。
  論文  参考訳（メタデータ） (2022-01-26T20:20:59Z)
• Zero-shot Speech Translation [0.0]
  音声翻訳(英: Speech Translation、ST)とは、ある言語の音声を他の言語のテキストに変換するタスクである。 エンドツーエンドのアプローチでは、エラーの伝播を避けるために1つのシステムのみを使用するが、データ不足のため、利用は困難である。 学習中に目に見えない言語のペアを翻訳できるゼロショット翻訳について検討する。
  論文  参考訳（メタデータ） (2021-07-13T12:00:44Z)
• Consecutive Decoding for Speech-to-text Translation [51.155661276936044]
  COnSecutive Transcription and Translation (COSTT)は、音声からテキストへの翻訳に不可欠な手法である。 鍵となるアイデアは、ソースの書き起こしとターゲットの翻訳テキストを1つのデコーダで生成することである。 本手法は3つの主流データセットで検証する。
  論文  参考訳（メタデータ） (2020-09-21T10:10:45Z)
• Improving Cross-Lingual Transfer Learning for End-to-End Speech Recognition with Speech Translation [63.16500026845157]
  本稿では,対象言語に関する追加知識を組み込む補助課題として,音声からテキストへの翻訳を導入する。 人間の翻訳によるSTの訓練は必要ないことを示す。 低リソースMT(200K例)の擬似ラベルであっても、ST強化転送は直接転送に対して最大8.9%のWER還元をもたらす。
  論文  参考訳（メタデータ） (2020-06-09T19:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。