論文の概要: Aligning Pre-trained Models for Spoken Language Translation

• arxiv url: http://arxiv.org/abs/2411.18294v1
• Date: Wed, 27 Nov 2024 12:32:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:28:47.377980
• Title: Aligning Pre-trained Models for Spoken Language Translation
• Title（参考訳）: 音声翻訳のための事前学習モデル
• Authors: Šimon Sedláček, Santosh Kesiraju, Alexander Polok, Jan Černocký,
• Abstract要約: 本稿では, 凍結事前学習型自動音声認識(ASR)と機械翻訳(MT)モデルを小型コネクタモジュールを介して協調する手法を用いて, エンドツーエンド音声翻訳(ST)への新たなアプローチについて検討する。 このコネクタは基礎MTモデルのドメインアダプタとして機能し, 整列ST設定における変換性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 42.50219822975012
• License:
• Abstract: This paper investigates a novel approach to end-to-end speech translation (ST) based on aligning frozen pre-trained automatic speech recognition (ASR) and machine translation (MT) models via a small connector module (Q-Former, our Subsampler-Transformer Encoder). This connector bridges the gap between the speech and text modalities, transforming ASR encoder embeddings into the latent representation space of the MT encoder while being the only part of the system optimized during training. Experiments are conducted on the How2 English-Portuguese dataset as we investigate the alignment approach in a small-scale scenario focusing on ST. While keeping the size of the connector module constant and small in comparison ( < 5% of the size of the larger aligned models), increasing the size and capability of the foundation ASR and MT models universally improves translation results. We also find that the connectors can serve as domain adapters for the foundation MT models, significantly improving translation performance in the aligned ST setting. We conclude that this approach represents a viable and scalable approach to training end-to-end ST systems.
• Abstract（参考訳）: 本稿では,凍結事前学習音声認識(ASR)と小型コネクタモジュール(Q-Former,我々のSubsampler-Transformer Encoder)による機械翻訳(MT)モデルとの整合性に基づく,エンドツーエンド音声翻訳(ST)への新たなアプローチについて検討する。 このコネクタは、音声とテキストのモダリティのギャップを埋め、ASRエンコーダの埋め込みをMTエンコーダの潜在表現空間に変換し、トレーニング中に最適化されたシステムの唯一の部分である。 コネクタモジュールのサイズを一定に保ちながら(より大きなアライメントモデルのサイズの 5% )、基礎となるASR と MT モデルのサイズと能力を高め、翻訳結果を普遍的に改善する。 また, このコネクタは基礎MTモデルのドメインアダプタとして機能し, 整列ST設定における翻訳性能を著しく向上することがわかった。 このアプローチはエンドツーエンドSTシステムのトレーニングにおいて,実用的でスケーラブルなアプローチである,と結論付けている。

関連論文リスト

• Efficient Machine Translation with a BiLSTM-Attention Approach [0.0]
  本稿では,翻訳品質の向上を目的とした新しいSeq2Seqモデルを提案する。 このモデルでは、双方向長短期記憶ネットワーク(Bidirectional Long Short-Term Memory Network, Bi-LSTM)をエンコーダとして使用し、入力シーケンスのコンテキスト情報をキャプチャする。 現在の主流トランスフォーマーモデルと比較して,本モデルはWMT14機械翻訳データセットにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-10-29T01:12:50Z)
• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• Segment-Based Interactive Machine Translation for Pre-trained Models [2.0871483263418806]
  対話型機械翻訳環境におけるLLM(Pre-trained large language model)の利用について検討する。 システムは、ユーザが各イテレーションで提供するフィードバックを使って、インタラクティブに完璧な翻訳を生成する。 我々は,mBART,mT5,SoTA(State-of-the-art)機械翻訳モデルの性能を,ユーザ作業に関するベンチマークデータセット上で比較した。
  論文  参考訳（メタデータ） (2024-07-09T16:04:21Z)
• Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard Parameter Sharing [72.56219471145232]
  ハードパラメータ共有を伴うST/MTマルチタスクフレームワークを提案する。 本手法は,事前処理による音声文のモダリティギャップを低減する。 我々は,注意エンコーダ・デコーダ,コネクショニスト時間分類(CTC),トランスデューサ,共同CTC/アテンションモデルを平均+0.5BLEUで改善することを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:48:14Z)
• Token-Level Serialized Output Training for Joint Streaming ASR and ST Leveraging Textual Alignments [49.38965743465124]
  本稿では,単一デコーダを用いて自動音声認識(ASR)と音声翻訳(ST)出力を共同生成するストリーミングトランスデューサを提案する。 単言語および多言語設定の実験は、我々のアプローチが最高の品質とレイテンシのバランスを達成することを示す。
  論文  参考訳（メタデータ） (2023-07-07T02:26:18Z)
• The IWSLT 2021 BUT Speech Translation Systems [2.4373900721120285]
  BUTの英語からドイツ語へのオフライン音声翻訳システム(ST)は、IWSLT 2021向けに開発された。 これらは共同で訓練された音声認識・機械翻訳モデルに基づいている。 それらの性能はMustC-Commonテストセットで評価される。
  論文  参考訳（メタデータ） (2021-07-13T15:11:18Z)
• Stacked Acoustic-and-Textual Encoding: Integrating the Pre-trained Models into Speech Translation Encoders [30.160261563657947]
  エンドツーエンドの音声翻訳では、事前トレーニングが有望です。 Stackedを提案します。 音声翻訳のための音響・テキスト(SATE)法 エンコーダはアコースティックシーケンスを通常どおりに処理することから始まり、その後はアコースティックシーケンスのように振る舞う。 MTエンコーダは入力シーケンスのグローバル表現である。
  論文  参考訳（メタデータ） (2021-05-12T16:09:53Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)
• Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
  相対位置符号化方式を音声変換器に適用する。 その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T09:53:06Z)
• Jointly Trained Transformers models for Spoken Language Translation [2.3886615435250302]
  この研究は、補助的な損失としてASR目標を持つSLTシステムを訓練し、両方のネットワークは神経隠れ表現を介して接続される。 このアーキテクチャはBLEUから36.8から44.5に改善されている。 すべての実験はハウ2コーパスを用いた英語・ポルトガル語音声翻訳タスクで報告される。
  論文  参考訳（メタデータ） (2020-04-25T11:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。