論文の概要: Streaming Models for Joint Speech Recognition and Translation

• arxiv url: http://arxiv.org/abs/2101.09149v1
• Date: Fri, 22 Jan 2021 15:16:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 22:55:28.623287
• Title: Streaming Models for Joint Speech Recognition and Translation
• Title（参考訳）: 共同音声認識と翻訳のためのストリーミングモデル
• Authors: Orion Weller and Matthias Sperber and Christian Gollan and Joris Kluivers
• Abstract要約: 再翻訳アプローチに基づくエンドツーエンドのストリーミングSTモデルを開発し、標準のカスケードアプローチと比較します。 また,本事例に対する新たな推論手法を提案するとともに,書き起こしと翻訳の両方を生成にインターリーブし,分離デコーダを使用する必要をなくす。
• 参考スコア（独自算出の注目度）: 11.657994715914748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Using end-to-end models for speech translation (ST) has increasingly been the focus of the ST community. These models condense the previously cascaded systems by directly converting sound waves into translated text. However, cascaded models have the advantage of including automatic speech recognition output, useful for a variety of practical ST systems that often display transcripts to the user alongside the translations. To bridge this gap, recent work has shown initial progress into the feasibility for end-to-end models to produce both of these outputs. However, all previous work has only looked at this problem from the consecutive perspective, leaving uncertainty on whether these approaches are effective in the more challenging streaming setting. We develop an end-to-end streaming ST model based on a re-translation approach and compare against standard cascading approaches. We also introduce a novel inference method for the joint case, interleaving both transcript and translation in generation and removing the need to use separate decoders. Our evaluation across a range of metrics capturing accuracy, latency, and consistency shows that our end-to-end models are statistically similar to cascading models, while having half the number of parameters. We also find that both systems provide strong translation quality at low latency, keeping 99% of consecutive quality at a lag of just under a second.
• Abstract（参考訳）: 音声翻訳(ST)のエンドツーエンドモデルの使用がSTコミュニティの焦点となっている。 これらのモデルは、音波を直接翻訳テキストに変換することによって、以前にカスケードされたシステムを凝縮する。 しかし、カスケードモデルには自動音声認識出力を含める利点があり、翻訳と共にユーザに対してしばしば書き起こしを表示する様々な実用的なSTシステムに有用である。 このギャップを埋めるために、最近の研究は、両方の出力を生成するエンド・ツー・エンド・モデルの実現可能性に関する最初の進歩を示している。 しかしながら、以前のすべての作業は、この問題を連続的な観点からのみ検討しており、これらのアプローチがより困難なストリーミング環境において有効であるかどうかに不確実性を残している。 我々は,再翻訳方式に基づくエンドツーエンドストリーミングstモデルを開発し,標準カスケード方式と比較する。 また,本事例に対する新たな推論手法を提案するとともに,書き起こしと翻訳の両方を生成にインターリーブし,分離デコーダを使用する必要をなくす。 我々の評価は、精度、レイテンシ、一貫性を計測する様々な指標において、我々のエンドツーエンドモデルは統計的にカスケードモデルに似ており、パラメータの数が半分であることを示している。 また、両方のシステムが低レイテンシで強力な翻訳品質を提供し、連続品質の99%を1秒未満の遅延で保持していることも分かりました。
• 全文 参考訳へのリンク

関連論文リスト

• ON-TRAC Consortium Systems for the IWSLT 2022 Dialect and Low-resource Speech Translation Tasks [8.651248939672769]
  本稿では,IWSLT 2022の評価キャンペーンにおける2つの課題トラックに対して開発されたON-TRACコンソーシアム翻訳システムについて述べる。 ASRの大規模微調整wav2vec 2.0モデルを利用するカスケードモデルと比較した。 この結果から,小型のターゲットデータを用いた自己教師型モデルの方が,大規模な市販モデルに比べて低リソースのSTファインチューニングに有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-05-04T10:36:57Z)
• Teaching BERT to Wait: Balancing Accuracy and Latency for Streaming Disfluency Detection [3.884530687475798]
  BERTをベースとしたシーケンスタギングモデルは,リアルタイムに分散を検出することができる。 モデルは、インクリメンタルな拡散検出に関する最近の研究と比較して、最先端のレイテンシと安定性のスコアを得る。
  論文  参考訳（メタデータ） (2022-05-02T02:13:24Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Streaming Multi-Talker ASR with Token-Level Serialized Output Training [53.11450530896623]
  t-SOTはマルチトーカー自動音声認識のための新しいフレームワークである。 t-SOTモデルには、推論コストの低減とよりシンプルなモデルアーキテクチャの利点がある。 重複しない音声の場合、t-SOTモデルは精度と計算コストの両面において単一ストーカーのASRモデルと同等である。
  論文  参考訳（メタデータ） (2022-02-02T01:27:21Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Integrated Training for Sequence-to-Sequence Models Using Non-Autoregressive Transformer [49.897891031932545]
  本稿では,非自己回帰変換器をベースとしたケースドモデルを提案する。 我々は、ピボットベースの2つの機械翻訳タスク、すなわち、フランス語-ドイツ語とドイツ語-チェコ語について評価を行う。
  論文  参考訳（メタデータ） (2021-09-27T11:04:09Z)
• Low-Latency Incremental Text-to-Speech Synthesis with Distilled Context Prediction Network [41.4599368523939]
  軽量モデルを用いて、観測されていない将来の文脈を直接予測するインクリメンタルTS法を提案する。 実験結果から,提案手法は合成音声の質に匹敵する10倍の時間を要することがわかった。
  論文  参考訳（メタデータ） (2021-09-22T13:29:10Z)
• UniST: Unified End-to-end Model for Streaming and Non-streaming Speech Translation [12.63410397982031]
  我々は、ストリーミングおよび非ストリーミング音声翻訳をサポートする統一モデル(UniST)を開発した。 最も人気のある音声からテキストへの翻訳ベンチマークデータセットである MuST-C の実験は、UniST が非ストリーミングSTに対して大幅な改善を達成していることを示している。
  論文  参考訳（メタデータ） (2021-09-15T15:22:10Z)
• Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
  整合性正規化による言語間微調整の改善を提案する。 具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。 XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2021-06-15T15:35:44Z)
• RealTranS: End-to-End Simultaneous Speech Translation with Convolutional Weighted-Shrinking Transformer [33.876412404781846]
  RealTranSは、同時音声翻訳のためのエンドツーエンドモデルである。 音声特徴を重み付き収縮操作と意味エンコーダでテキスト空間にマッピングする。 実験により、Wait-K-Stride-N戦略を用いたRealTranSは、従来のエンドツーエンドモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-09T06:35:46Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。