論文の概要: Transcribing and Translating, Fast and Slow: Joint Speech Translation and Recognition
- arxiv url: http://arxiv.org/abs/2412.15415v1
- Date: Thu, 19 Dec 2024 21:57:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-23 16:23:27.612461
- Title: Transcribing and Translating, Fast and Slow: Joint Speech Translation and Recognition
- Title（参考訳）: 翻訳・翻訳・高速・スロー:共同音声翻訳・認識
- Authors: Niko Moritz, Ruiming Xie, Yashesh Gaur, Ke Li, Simone Merello, Zeeshan Ahmed, Frank Seide, Christian Fuegen,
- Abstract要約: このモデルはトランスデューサベースで、ASRとSTの両方の目標を同時に最適化する多目的トレーニング戦略を使用する。
JSTARをスマートグラスを用いたバイリンガルな会話音声設定に適用し、そのモデルはまた、着用者と会話相手の異なる方向からの発話を区別するように訓練する。
BLEUスコアと待ち時間の両方において、強いカスケードSTモデルと比較して、JSTARの優れた性能を示す。
- 参考スコア（独自算出の注目度）: 22.900756720616513
- License:
- Abstract: We propose the joint speech translation and recognition (JSTAR) model that leverages the fast-slow cascaded encoder architecture for simultaneous end-to-end automatic speech recognition (ASR) and speech translation (ST). The model is transducer-based and uses a multi-objective training strategy that optimizes both ASR and ST objectives simultaneously. This allows JSTAR to produce high-quality streaming ASR and ST results. We apply JSTAR in a bilingual conversational speech setting with smart-glasses, where the model is also trained to distinguish speech from different directions corresponding to the wearer and a conversational partner. Different model pre-training strategies are studied to further improve results, including training of a transducer-based streaming machine translation (MT) model for the first time and applying it for parameter initialization of JSTAR. We demonstrate superior performances of JSTAR compared to a strong cascaded ST model in both BLEU scores and latency.
- Abstract（参考訳）: 本稿では,音声認識と音声翻訳を同時に行うために,高速で低速なカスケードエンコーダアーキテクチャを利用する共同音声認識(JSTAR)モデルを提案する。
このモデルはトランスデューサベースで、ASRとSTの両方の目標を同時に最適化する多目的トレーニング戦略を使用する。
これにより、JSTARは高品質のストリーミングASRとST結果を生成することができる。
JSTARをスマートグラスを用いたバイリンガルな会話音声設定に適用し、そのモデルはまた、着用者と会話相手の異なる方向からの発話を区別するように訓練する。
トランスデューサをベースとしたストリーミング機械翻訳(MT)モデルのトレーニングや,JSTARのパラメータ初期化への応用など,さまざまなモデル事前学習戦略について検討した。
BLEUスコアと待ち時間の両方において、強いカスケードSTモデルと比較して、JSTARの優れた性能を示す。
関連論文リスト
- Advancing Multi-talker ASR Performance with Large Language Models [48.52252970956368]
対話シナリオにおける複数話者からの重複音声認識は、音声認識(ASR)において最も難しい問題の一つである。
本稿では,事前学習した音声エンコーダとLLMを利用したマルチストーカーASRのためのSOTアプローチを提案する。
提案手法は,シミュレーションデータセットLibriMixにおける従来のAEDに基づく手法を超越し,実世界のデータセットAMIの評価セット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-08-30T17:29:25Z) - FASST: Fast LLM-based Simultaneous Speech Translation [9.65638081954595]
同時音声翻訳(SST)は、ストリーミング音声入力を受信し、オンザフライでテキスト翻訳を生成する。
本研究では,高速な大規模言語モデルに基づく音声翻訳手法であるFASSTを提案する。
実験結果から,FASSTは最高の品質・レイテンシトレードオフを実現することがわかった。
論文 参考訳（メタデータ） (2024-08-18T10:12:39Z) - DiariST: Streaming Speech Translation with Speaker Diarization [53.595990270899414]
本稿では,最初のストリーミングSTとSDソリューションであるDiariSTを提案する。
ニューラルトランスデューサベースのストリーミングSTシステム上に構築され、トークンレベルのシリアライズされた出力トレーニングとtベクタを統合している。
重なり合う音声のストリーミング推論を行いながら,Whisperに基づくオフラインシステムと比較して強いSTとSD能力を実現する。
論文 参考訳（メタデータ） (2023-09-14T19:33:27Z) - Token-Level Serialized Output Training for Joint Streaming ASR and ST
Leveraging Textual Alignments [49.38965743465124]
本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。
単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
論文 参考訳（メタデータ） (2023-07-07T02:26:18Z) - LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and
Translation Using Neural Transducers [71.76680102779765]
自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。
ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
論文 参考訳（メタデータ） (2022-11-05T04:03:55Z) - ASR data augmentation in low-resource settings using cross-lingual
multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。
対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
論文 参考訳（メタデータ） (2022-03-29T11:55:30Z) - Dual-decoder Transformer for Joint Automatic Speech Recognition and
Multilingual Speech Translation [71.54816893482457]
自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。
我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
論文 参考訳（メタデータ） (2020-11-02T04:59:50Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。