論文の概要: Large-Scale Streaming End-to-End Speech Translation with Neural Transducers

• arxiv url: http://arxiv.org/abs/2204.05352v1
• Date: Mon, 11 Apr 2022 18:18:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 12:21:29.364568
• Title: Large-Scale Streaming End-to-End Speech Translation with Neural Transducers
• Title（参考訳）: ニューラルトランスデューサを用いた大規模ストリーミング音声翻訳
• Authors: Jian Xue, Peidong Wang, Jinyu Li, Matt Post, Yashesh Gaur
• Abstract要約: 本稿では,音声信号を他の言語で直接テキストに変換するために,ストリームエンドツーエンド音声翻訳(ST)モデルを提案する。 ASRとテキストベースの機械翻訳(MT)を行うカスケードSTと比較して、提案した変換器トランスデューサ(TT)ベースのSTモデルは、推論遅延を大幅に削減する。 TTベースのSTを多言語STに拡張し、複数の言語のテキストを同時に生成する。
• 参考スコア（独自算出の注目度）: 35.2855796745394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural transducers have been widely used in automatic speech recognition (ASR). In this paper, we introduce it to streaming end-to-end speech translation (ST), which aims to convert audio signals to texts in other languages directly. Compared with cascaded ST that performs ASR followed by text-based machine translation (MT), the proposed Transformer transducer (TT)-based ST model drastically reduces inference latency, exploits speech information, and avoids error propagation from ASR to MT. To improve the modeling capacity, we propose attention pooling for the joint network in TT. In addition, we extend TT-based ST to multilingual ST, which generates texts of multiple languages at the same time. Experimental results on a large-scale 50 thousand (K) hours pseudo-labeled training set show that TT-based ST not only significantly reduces inference time but also outperforms non-streaming cascaded ST for English-German translation.
• Abstract（参考訳）: ニューラルトランスデューサは自動音声認識(ASR)で広く使われている。 本稿では,音声信号を他の言語で直接テキストに変換することを目的とした,エンドツーエンド音声翻訳(st)のストリーミングについて紹介する。 提案するトランスフォーマトトランスデューサ(tt)ベースのstモデルは,asrを実行し,テキストベースの機械翻訳(mt)を行うカスケードstと比較して,推論遅延を大幅に低減し,音声情報を活用するとともに,asrからmtへの誤り伝搬を回避してモデル化能力を向上させることを提案する。 さらに、TTベースのSTを多言語STに拡張し、複数の言語のテキストを同時に生成する。 大規模な50000時間(K時間)の擬似ラベル付きトレーニングセットの実験結果から,TTベースSTは推論時間を大幅に短縮するだけでなく,非ストリーム化STを英語・ドイツ語翻訳で上回った。

関連論文リスト

• FASST: Fast LLM-based Simultaneous Speech Translation [9.65638081954595]
  同時音声翻訳(SST)は、ストリーミング音声入力を受信し、オンザフライでテキスト翻訳を生成する。 本研究では,高速な大規模言語モデルに基づく音声翻訳手法であるFASSTを提案する。 実験結果から,FASSTは最高の品質・レイテンシトレードオフを実現することがわかった。
  論文  参考訳（メタデータ） (2024-08-18T10:12:39Z)
• DiariST: Streaming Speech Translation with Speaker Diarization [53.595990270899414]
  本稿では,最初のストリーミングSTとSDソリューションであるDiariSTを提案する。 ニューラルトランスデューサベースのストリーミングSTシステム上に構築され、トークンレベルのシリアライズされた出力トレーニングとtベクタを統合している。 重なり合う音声のストリーミング推論を行いながら,Whisperに基づくオフラインシステムと比較して強いSTとSD能力を実現する。
  論文  参考訳（メタデータ） (2023-09-14T19:33:27Z)
• Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments [49.38965743465124]
  本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。 単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
  論文  参考訳（メタデータ） (2023-07-07T02:26:18Z)
• Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias [71.94109664001952]
  Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。 Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
  論文  参考訳（メタデータ） (2023-06-06T08:54:49Z)
• Back Translation for Speech-to-text Translation Without Transcripts [11.13240570688547]
  単言語対象データから擬似STデータを合成するためのST(BT4ST)の逆変換アルゴリズムを開発した。 短時間から長期にわたる生成と一対一のマッピングによる課題を解消するため,自己管理型離散単位を導入した。 合成STデータを用いて、MuST-C En-De、En-Fr、En-Esデータセット上で平均2.3BLEUを達成する。
  論文  参考訳（メタデータ） (2023-05-15T15:12:40Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)
• LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers [71.76680102779765]
  自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。 ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
  論文  参考訳（メタデータ） (2022-11-05T04:03:55Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Tackling data scarcity in speech translation using zero-shot multilingual machine translation techniques [12.968557512440759]
  ゼロショット翻訳にはいくつかの手法が提案されている。 音声翻訳データとテキスト翻訳データに基づいて訓練されたSTモデルを構築することにより,これらのアイデアが音声翻訳に適用できるかどうかを検討する。 これらの技術は制限されたSTデータを用いて数発のSTに適用され、ASRモデルから微調整されたSTモデルと比較して、直接のSTと+3.1のBLEUポイントに比べて最大+12.9のBLEUポイントの改善がなされた。
  論文  参考訳（メタデータ） (2022-01-26T20:20:59Z)
• Incremental Speech Synthesis For Speech-To-Speech Translation [23.951060578077445]
  本稿では,TSモデルの逐次合成性能の向上に焦点をあてる。 プレフィックスに基づく単純なデータ拡張戦略により、インクリメンタルTS品質を改善してオフラインパフォーマンスにアプローチすることが可能になります。 本稿では,S2STアプリケーションに適したレイテンシメトリクスを提案し,このコンテキストにおける遅延低減手法について検討する。
  論文  参考訳（メタデータ） (2021-10-15T17:20:28Z)
• Zero-shot Speech Translation [0.0]
  音声翻訳(英: Speech Translation、ST)とは、ある言語の音声を他の言語のテキストに変換するタスクである。 エンドツーエンドのアプローチでは、エラーの伝播を避けるために1つのシステムのみを使用するが、データ不足のため、利用は困難である。 学習中に目に見えない言語のペアを翻訳できるゼロショット翻訳について検討する。
  論文  参考訳（メタデータ） (2021-07-13T12:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。