論文の概要: When End-to-End is Overkill: Rethinking Cascaded Speech-to-Text Translation

• arxiv url: http://arxiv.org/abs/2502.00377v1
• Date: Sat, 01 Feb 2025 09:29:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:43.982643
• Title: When End-to-End is Overkill: Rethinking Cascaded Speech-to-Text Translation
• Title（参考訳）: エンド・トゥ・エンドが過度に長引くとき--音声からテキストへの翻訳の再考
• Authors: Anna Min, Chenxu Hu, Yi Ren, Hang Zhao,
• Abstract要約: ASR と自己教師型音声特徴量からの複数の候補を機械翻訳に組み込むことの利点について検討する。 解析の結果,カスケードエラーの主な原因は,テキスト領域にマッピングした場合の音声領域における類似したサンプル間のばらつきの増加にあることが明らかとなった。
• 参考スコア（独自算出の注目度）: 38.88908101517807
• License:
• Abstract: Though end-to-end speech-to-text translation has been a great success, we argue that the cascaded speech-to-text translation model still has its place, which is usually criticized for the error propagation between automatic speech recognition (ASR) and machine translation (MT) models. In this paper, we explore the benefits of incorporating multiple candidates from ASR and self-supervised speech features into MT. Our analysis reveals that the primary cause of cascading errors stems from the increased divergence between similar samples in the speech domain when mapped to the text domain. By including multiple candidates and self-supervised speech features, our approach allows the machine translation model to choose the right words and ensure precise translation using various speech samples. This strategy minimizes error spread and takes advantage of large ASR and MT datasets, along with pre-trained ASR/MT models, while addressing associated issues.
• Abstract（参考訳）: エンド・ツー・エンドの音声・テキスト翻訳は大きな成功を収めてきたが、ケースケードされた音声・テキスト翻訳モデルは依然としてその位置にあり、通常は自動音声認識(ASR)モデルと機械翻訳(MT)モデルとの誤り伝播で批判される。 本稿では,ASRの複数の候補と自己教師型音声特徴をMTに組み込むことの利点について検討する。本分析は,テキスト領域にマッピングされた音声領域における類似したサンプル間のばらつきの増加に起因するカスケードエラーの主な原因を明らかにする。 複数の候補と自己教師型音声特徴を含めることで、機械翻訳モデルが正しい単語を選択し、様々な音声サンプルを用いて正確な翻訳を行えるようにする。 この戦略は、エラー拡散を最小限に抑え、関連する問題に対処しながら、トレーニング済みのASR/MTモデルとともに、大規模なASRおよびMTデータセットを活用する。

関連論文リスト

• VoiceTextBlender: Augmenting Large Language Models with Speech Capabilities via Single-Stage Joint Speech-Text Supervised Fine-Tuning [64.56272011710735]
  大規模言語モデル(LLM)のバックボーンの低ランク適応(LoRA)に対して,新しい単一段階共同音声テキストSFTアプローチを提案する。 従来のSpeechLMの7Bまたは13Bパラメータと比較すると,我々の3Bモデルは様々な音声ベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-23T00:36:06Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Back Translation for Speech-to-text Translation Without Transcripts [11.13240570688547]
  単言語対象データから擬似STデータを合成するためのST(BT4ST)の逆変換アルゴリズムを開発した。 短時間から長期にわたる生成と一対一のマッピングによる課題を解消するため,自己管理型離散単位を導入した。 合成STデータを用いて、MuST-C En-De、En-Fr、En-Esデータセット上で平均2.3BLEUを達成する。
  論文  参考訳（メタデータ） (2023-05-15T15:12:40Z)
• STEMM: Self-learning with Speech-text Manifold Mixup for Speech Translation [37.51435498386953]
  本稿では,その差分を補正するSTEMM法を提案する。 MuST-C音声翻訳ベンチマークおよびさらなる解析実験により,本手法はモーダル表現の不一致を効果的に軽減することが示された。
  論文  参考訳（メタデータ） (2022-03-20T01:49:53Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• A Technical Report: BUT Speech Translation Systems [2.9327503320877457]
  本稿では,BUTの音声翻訳システムについて述べる。 システムは英語$longrightarrow$Germanのオフライン音声翻訳システムである。 オラクル入力テキストと比較して、ASR仮説を翻訳する際には、大きな劣化が観察される。
  論文  参考訳（メタデータ） (2020-10-22T10:52:31Z)
• Cascaded Models With Cyclic Feedback For Direct Speech Translation [14.839931533868176]
  本稿では,自動音声認識(ASR)と機械翻訳(MT)のカスケードを用いて,ドメイン内直接音声翻訳データを活用する手法を提案する。 同一アーキテクチャと同一データのコンポーネントを用いたエンドツーエンドの音声翻訳と比較すると、LibriVoxDeEnでは最大3.8 BLEU点、ドイツ語と英語の音声翻訳ではCoVoSTでは最大5.1 BLEU点が得られた。
  論文  参考訳（メタデータ） (2020-10-21T17:18:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。