論文の概要: CMU's IWSLT 2024 Simultaneous Speech Translation System

• arxiv url: http://arxiv.org/abs/2408.07452v1
• Date: Wed, 14 Aug 2024 10:44:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 13:44:31.203884
• Title: CMU's IWSLT 2024 Simultaneous Speech Translation System
• Title（参考訳）: CMUのIWSLT 2024同時音声翻訳システム
• Authors: Xi Xu, Siqi Ouyang, Brian Yan, Patrick Fernandes, William Chen, Lei Li, Graham Neubig, Shinji Watanabe,
• Abstract要約: 本稿では,CMU による IWSLT 2024 Simultaneous Speech Translation (SST) タスクへの提案について述べる。 本システムでは,WavLM音声エンコーダ,モダリティアダプタ,Llama2-7B-Baseモデルをデコーダとして統合する。
• 参考スコア（独自算出の注目度）: 80.15755988907506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper describes CMU's submission to the IWSLT 2024 Simultaneous Speech Translation (SST) task for translating English speech to German text in a streaming manner. Our end-to-end speech-to-text (ST) system integrates the WavLM speech encoder, a modality adapter, and the Llama2-7B-Base model as the decoder. We employ a two-stage training approach: initially, we align the representations of speech and text, followed by full fine-tuning. Both stages are trained on MuST-c v2 data with cross-entropy loss. We adapt our offline ST model for SST using a simple fixed hold-n policy. Experiments show that our model obtains an offline BLEU score of 31.1 and a BLEU score of 29.5 under 2 seconds latency on the MuST-C-v2 tst-COMMON.
• Abstract（参考訳）: 本稿では,CMU による IWSLT 2024 Simultaneous Speech Translation (SST) タスクへの提案について述べる。 本システムでは,WavLM音声エンコーダ,モダリティアダプタ,Llama2-7B-Baseモデルをデコーダとして統合する。 最初は、音声とテキストの表現を整列させ、次に完全な微調整を行う。 どちらのステージも、クロスエントロピー損失を伴う MuST-c v2 データに基づいてトレーニングされている。 我々は、単純な固定ホールドnポリシーを用いて、オフラインSTモデルをSSTに適用する。 実験の結果,MST-C-v2 tst-COMMONでは,オフラインのBLEUスコアが31.1,BLEUスコアが29.5であった。

関連論文リスト

• FASST: Fast LLM-based Simultaneous Speech Translation [9.65638081954595]
  同時音声翻訳(SST)は、ストリーミング音声入力を受信し、オンザフライでテキスト翻訳を生成する。 本研究では,高速な大規模言語モデルに基づく音声翻訳手法であるFASSTを提案する。 実験結果から,FASSTは最高の品質・レイテンシトレードオフを実現することがわかった。
  論文  参考訳（メタデータ） (2024-08-18T10:12:39Z)
• NAIST Simultaneous Speech Translation System for IWSLT 2024 [18.77311658086372]
  本稿では,IWSLT 2024評価キャンペーンの同時進行に対するNAISTの提出について述べる。 We developed a multilingual end-to-end speech-to-text translation model with two-trained language model, HuBERT and mBART。 私たちはこのモデルを、ローカルアグリーメント(LA)とAlignAttという2つのデコードポリシでトレーニングしました。 音声から音声への変換法は,上述した音声からテキストへの変換モデルのカスケードであり,TTSモジュールをインクリメンタルに生成する。
  論文  参考訳（メタデータ） (2024-06-30T20:41:02Z)
• Can We Achieve High-quality Direct Speech-to-Speech Translation without Parallel Speech Data? [49.42189569058647]
  2パス直接音声音声変換(S2ST)モデルは、タスクを音声音声翻訳(S2TT)とテキスト音声翻訳(TTS)に分解する 本稿では,事前学習した任意のS2TTおよびTSモデルを直接S2STモデルにシームレスに統合できるComSpeechという複合S2STモデルを提案する。 また,S2TTとTSデータのみを利用した新しいトレーニング手法ComSpeech-ZSを提案する。
  論文  参考訳（メタデータ） (2024-06-11T14:17:12Z)
• Speech Translation with Foundation Models and Optimal Transport: UPC at IWSLT23 [0.0]
  本稿では,UPC 機械翻訳グループの IWSLT 2023 オフライン音声翻訳タスクへの提出について述べる。 我々の音声翻訳システムは、音声(wav2vec 2.0)とテキスト(mBART50)の基礎モデルを利用する。 そこで本研究では,CTC と Optimal Transport を用いた音声とテキストエンコーダのシームズ事前学習ステップを導入し,音声表現をテキストモデルの空間に適応させる。
  論文  参考訳（メタデータ） (2023-06-02T07:48:37Z)
• Textless Speech-to-Speech Translation With Limited Parallel Data [51.3588490789084]
  PFBはテキストレスのS2STモデルをトレーニングするためのフレームワークで、数十時間の並列音声データしか必要としない。 3つのドメインで英語、ドイツ語、マラティー語、英語の翻訳をトレーニングし、評価する。
  論文  参考訳（メタデータ） (2023-05-24T17:59:05Z)
• BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
  本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。 Transformerに基づいて、いくつかの有効な変種を適用します。 本システムでは,0.810と0.946のCOMETスコアを達成している。
  論文  参考訳（メタデータ） (2022-11-28T02:35:04Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Textless Speech-to-Speech Translation on Real Data [49.134208897722246]
  本研究では、ある言語から別の言語への翻訳が可能なテキストなし音声音声翻訳システム(S2ST)を提案する。 マルチ話者ターゲット音声をモデル化し、実世界のS2STデータを用いてシステムを訓練する際の課題に対処する。
  論文  参考訳（メタデータ） (2021-12-15T18:56:35Z)
• UPC's Speech Translation System for IWSLT 2021 [2.099922236065961]
  本稿では,UPC 機械翻訳グループによる IWSLT 2021 オフライン音声翻訳タスクの提出について述べる。 タスクは、tedトークから抽出された英語の音声録音をドイツ語のテキストに翻訳できるシステムを構築することにある。 提案方式は,エンコーダとデコーダ間の結合モジュールと事前学習モデルを組み合わせた音声翻訳システムである。
  論文  参考訳（メタデータ） (2021-05-10T17:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。