論文の概要: AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation

• arxiv url: http://arxiv.org/abs/2503.14185v1
• Date: Tue, 18 Mar 2025 11:59:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:14:52.928078
• Title: AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
• Title（参考訳）: AdaST: エンドツーエンド音声テキスト翻訳のためのデコーダにおけるエンコーダ状態の動的適応
• Authors: Wuwei Huang, Dexin Wang, Deyi Xiong,
• Abstract要約: 復号器隠蔽状態に応じて様々な音響状態の利点を示す。 本稿では,デコーダの音響状態を動的に適応できる適応型音声テキスト翻訳モデルを提案する。 広範に使用されている2つのデータセットの実験結果から,提案手法は最先端のニューラル音声翻訳モデルを大きく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 44.76424642509807
• License:
• Abstract: In end-to-end speech translation, acoustic representations learned by the encoder are usually fixed and static, from the perspective of the decoder, which is not desirable for dealing with the cross-modal and cross-lingual challenge in speech translation. In this paper, we show the benefits of varying acoustic states according to decoder hidden states and propose an adaptive speech-to-text translation model that is able to dynamically adapt acoustic states in the decoder. We concatenate the acoustic state and target word embedding sequence and feed the concatenated sequence into subsequent blocks in the decoder. In order to model the deep interaction between acoustic states and target hidden states, a speech-text mixed attention sublayer is introduced to replace the conventional cross-attention network. Experiment results on two widely-used datasets show that the proposed method significantly outperforms state-of-the-art neural speech translation models.
• Abstract（参考訳）: エンドツーエンドの音声翻訳では、エンコーダによって学習される音響表現は通常、デコーダの観点から固定され、静的である。 本稿では,デコーダの隠れ状態に応じて異なる音響状態の利点を示すとともに,デコーダ内の音響状態の動的適応が可能な適応型音声-テキスト翻訳モデルを提案する。 我々は、音響状態とターゲット単語の埋め込みシーケンスを連結し、連結されたシーケンスをデコーダ内の後続ブロックに供給する。 音響状態とターゲット隠れ状態との深い相互作用をモデル化するために,従来のクロスアテンションネットワークを置き換えるために,音声・テキスト混合注目サブレイヤを導入する。 広範に使用されている2つのデータセットの実験結果から,提案手法は最先端のニューラル音声翻訳モデルを大きく上回っていることがわかった。

関連論文リスト

• CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction [61.067153685104394]
  変形性音声再建(DSR)は、変形性音声を正常な音声に変換することを目的としている。 話者の類似度は低く、プロソディの自然度は低い。 本稿では、ニューラルネットワークモデリングを利用して再構成結果を改善するマルチモーダルDSRモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-12T15:42:21Z)
• Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks [28.440232737011453]
  そこで本稿では,Transducer と Attention based AED-Decoder (TAED) を組み合わせることで,音声からテキストへ変換する手法を提案する。 本手法は,Transducerのストリーミング特性を維持しつつ,非単調シーケンスにおけるTransducerの強度をシーケンス学習に活用する。 提案手法をtextscMuST-C データセットで評価し,TAED が Transducer よりもオフライン自動音声認識(ASR) や 音声からテキストへの変換(ST) 処理に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-04T18:34:50Z)
• Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition [29.1423215212174]
  関節CTC-Attention モデルの最近の動向は自動音声認識(ASR)において顕著に改善されている 本稿では,訓練中にデコーダに改良されたCTC情報を導入する言語拡張トランスフォーマを提案する。 AISHELL-1音声コーパスの実験では、文字誤り率(CER)は7%まで相対的に減少している。
  論文  参考訳（メタデータ） (2022-10-25T08:12:59Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model [34.061441900912136]
  このようなスキームは準最適であり、すべての話者を共同で復号する原理的解法を提案する。 本研究では,全ての話者の関節後部状態を予測するために音響モデルを改良し,話者への音声信号の一部の帰属に関する不確実性をネットワークが表現できるようにする。
  論文  参考訳（メタデータ） (2021-10-31T09:28:04Z)
• SpeechT5: Unified-Modal Encoder-Decoder Pre-training for Spoken Language Processing [77.4527868307914]
  本稿では,自己教師付き音声/テキスト表現学習のためのエンコーダ・デコーダ事前学習を探索する統一モーダルなSpeechT5フレームワークを提案する。 SpeechT5フレームワークは共有エンコーダデコーダネットワークと6つのモーダル固有(音声/テキスト)プレ/ポストネットで構成されている。 テキスト情報と音声情報を統一的な意味空間に整合させるため,テキストとテキストをランダムに混合したクロスモーダルベクトル量子化法を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:59:27Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
  相対位置符号化方式を音声変換器に適用する。 その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T09:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。