論文の概要: Tight Integrated End-to-End Training for Cascaded Speech Translation

• arxiv url: http://arxiv.org/abs/2011.12167v1
• Date: Tue, 24 Nov 2020 15:43:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:16:21.897307
• Title: Tight Integrated End-to-End Training for Cascaded Speech Translation
• Title（参考訳）: カスケード音声翻訳のための統合型エンドツーエンド学習
• Authors: Parnia Bahar, Tobias Bieschke, Ralf Schl\"uter and Hermann Ney
• Abstract要約: カスケード音声翻訳モデルは、離散的および非微分可能転写に依存している。 直接音声翻訳は、誤りの伝播を避けるための代替手法である。 この研究は、カスケードコンポーネント全体を1つのエンドツーエンドのトレーニング可能なモデルにまとめることの可能性を探る。
• 参考スコア（独自算出の注目度）: 40.76367623739673
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A cascaded speech translation model relies on discrete and non-differentiable transcription, which provides a supervision signal from the source side and helps the transformation between source speech and target text. Such modeling suffers from error propagation between ASR and MT models. Direct speech translation is an alternative method to avoid error propagation; however, its performance is often behind the cascade system. To use an intermediate representation and preserve the end-to-end trainability, previous studies have proposed using two-stage models by passing the hidden vectors of the recognizer into the decoder of the MT model and ignoring the MT encoder. This work explores the feasibility of collapsing the entire cascade components into a single end-to-end trainable model by optimizing all parameters of ASR and MT models jointly without ignoring any learned parameters. It is a tightly integrated method that passes renormalized source word posterior distributions as a soft decision instead of one-hot vectors and enables backpropagation. Therefore, it provides both transcriptions and translations and achieves strong consistency between them. Our experiments on four tasks with different data scenarios show that the model outperforms cascade models up to 1.8% in BLEU and 2.0% in TER and is superior compared to direct models.
• Abstract（参考訳）: カスケード音声翻訳モデルは、ソース側からの監督信号を提供し、ソース音声とターゲットテキスト間の変換を支援する離散的および非微分的転写に依存する。 このようなモデリングは、ASRモデルとMTモデル間のエラー伝播に悩まされる。 直接音声翻訳は誤りの伝播を避ける代替手法であるが、その性能はカスケードシステムの背後にあることが多い。 中間表現とエンドツーエンドのトレーニング性を維持するために,MTモデルのデコーダに認識子の隠れベクトルを渡し,MTエンコーダを無視して2段階モデルを提案する。 本研究は, 学習パラメータを無視することなく, ASR と MT モデルの全てのパラメータを協調的に最適化することにより, カスケード成分全体を単一エンドツーエンドのトレーニング可能なモデルに分解する可能性を検討する。 これは、1ホットベクトルではなくソフトな決定として正規化されたソースワード後続分布をパスし、バックプロパゲーションを可能にする密に統合された手法である。 そのため、書き起こしと翻訳の両方を提供し、両者の強い一貫性を実現する。 データシナリオが異なる4つのタスクについて実験したところ、モデルがBLEUの1.8%、TERの2.0%でカスケードモデルより優れており、直接モデルよりも優れていることがわかった。

関連論文リスト

• Coupling Speech Encoders with Downstream Text Models [4.679869237248675]
  カスケード音声翻訳モデルを構築するためのモジュラー手法を提案する。 我々は,与えられたタスクに対して,最先端音声認識(ASR)とテキスト翻訳(MT)の性能を維持する。
  論文  参考訳（メタデータ） (2024-07-24T19:29:13Z)
• Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
  テキストから音声合成(TTS)のための新しい連続値トークンに基づく言語モデリング手法であるMELLEを提案する。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。
  論文  参考訳（メタデータ） (2024-07-11T14:36:53Z)
• Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
  In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。 本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-03T08:15:39Z)
• Pushing the Limits of Zero-shot End-to-End Speech Translation [15.725310520335785]
  データ不足とテキストモダリティ間のモダリティギャップは、エンドツーエンド音声翻訳(ST)システムの2つの大きな障害である。 ゼロショットSTの手法であるZeroSwotを導入し、ペアSTデータを使わずにモダリティギャップをブリッジする。 実験の結果,STデータを使わずにモダリティギャップを効果的に塞ぐことが可能であること,MuST-CとCoVoSTで得られた結果が本手法の優位性を示している。
  論文  参考訳（メタデータ） (2024-02-16T03:06:37Z)
• Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard Parameter Sharing [72.56219471145232]
  ハードパラメータ共有を伴うST/MTマルチタスクフレームワークを提案する。 本手法は,事前処理による音声文のモダリティギャップを低減する。 我々は,注意エンコーダ・デコーダ,コネクショニスト時間分類(CTC),トランスデューサ,共同CTC/アテンションモデルを平均+0.5BLEUで改善することを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:48:14Z)
• E2TIMT: Efficient and Effective Modal Adapter for Text Image Machine Translation [40.62692548291319]
  テキスト画像機械翻訳(TIMT)は、画像に埋め込まれたテキストを、あるソース言語から別のターゲット言語に翻訳することを目的としている。 既存の手法では、2段階のカスケードと1段階のエンドツーエンドアーキテクチャの両方が異なる問題に悩まされている。 本稿では,既存のOCRおよびMTデータセットからの知識をフル活用したエンドツーエンドTIMTモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-09T04:25:52Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)
• Streaming Models for Joint Speech Recognition and Translation [11.657994715914748]
  再翻訳アプローチに基づくエンドツーエンドのストリーミングSTモデルを開発し、標準のカスケードアプローチと比較します。 また,本事例に対する新たな推論手法を提案するとともに,書き起こしと翻訳の両方を生成にインターリーブし,分離デコーダを使用する必要をなくす。
  論文  参考訳（メタデータ） (2021-01-22T15:16:54Z)
• DiscreTalk: Text-to-Speech as a Machine Translation Problem [52.33785857500754]
  本稿ではニューラルマシン翻訳(NMT)に基づくエンドツーエンドテキスト音声合成(E2E-TTS)モデルを提案する。 提案モデルは,非自己回帰ベクトル量子化変分オートエンコーダ(VQ-VAE)モデルと自己回帰トランスフォーマー-NMTモデルという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2020-05-12T02:45:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。