論文の概要: Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders

• arxiv url: http://arxiv.org/abs/2011.01097v2
• Date: Wed, 15 Sep 2021 18:42:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 12:07:38.566135
• Title: Enabling Zero-shot Multilingual Spoken Language Translation with Language-Specific Encoders and Decoders
• Title（参考訳）: 言語特化エンコーダとデコーダを用いたゼロショット多言語音声翻訳
• Authors: Carlos Escolano, Marta R. Costa-juss\`a, Jos\'e A. R. Fonollosa, Carlos Segura
• Abstract要約: Spoken Language Translationへの現在のエンドツーエンドアプローチは、限られたトレーニングリソースに依存しています。 提案手法は,言語固有のエンコーダデコーダに基づくMultiNMTアーキテクチャを多言語SLTのタスクに拡張する。
• 参考スコア（独自算出の注目度）: 5.050654565113709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current end-to-end approaches to Spoken Language Translation (SLT) rely on limited training resources, especially for multilingual settings. On the other hand, Multilingual Neural Machine Translation (MultiNMT) approaches rely on higher-quality and more massive data sets. Our proposed method extends a MultiNMT architecture based on language-specific encoders-decoders to the task of Multilingual SLT (MultiSLT). Our method entirely eliminates the dependency from MultiSLT data and it is able to translate while training only on ASR and MultiNMT data. Our experiments on four different languages show that coupling the speech encoder to the MultiNMT architecture produces similar quality translations compared to a bilingual baseline ($\pm 0.2$ BLEU) while effectively allowing for zero-shot MultiSLT. Additionally, we propose using an Adapter module for coupling the speech inputs. This Adapter module produces consistent improvements up to +6 BLEU points on the proposed architecture and +1 BLEU point on the end-to-end baseline.
• Abstract（参考訳）: Spoken Language Translation (SLT) への現在のエンドツーエンドアプローチは、特に多言語設定において、限られたトレーニングリソースに依存している。 一方で、多言語ニューラルマシン翻訳(multinmt)のアプローチは、高品質で巨大なデータセットに依存している。 提案手法は,言語固有のエンコーダデコーダに基づくマルチNMTアーキテクチャをMultiSLT(MultiSLT)のタスクに拡張する。 提案手法は,MultiSLTデータからの依存性を完全に排除し,ASRデータとMultiNMTデータのみをトレーニングしながら翻訳することができる。 4つの異なる言語に対する実験により、音声エンコーダとMultiNMTアーキテクチャの結合は、バイリンガルベースライン($\pm 0.2$ BLEU)と同等の品質の翻訳を生成できるが、効果的にゼロショットMultiSLTを実現することができることを示した。 さらに,音声入力を結合するアダプタモジュールを提案する。 このAdapterモジュールは、提案したアーキテクチャ上の+6 BLEU点と、エンドツーエンドのベースライン上の+1 BLEU点まで一貫した改善をもたらす。

関連論文リスト

• Language-Aware Multilingual Machine Translation with Self-Supervised Learning [13.250011906361273]
  多言語機械翻訳(MMT)は言語間変換の利点があるが、マルチタスク最適化の問題である。 自己教師付き学習アプローチは,MTタスクの補完タスクとして翻訳性能を向上させることで,有望であることを示す。 本稿では,エンコーダとデコーダの両方に単一言語データを同時に記述することで,MTタスクと協調学習を行う,新しい単純なSSLタスクを提案する。
  論文  参考訳（メタデータ） (2023-02-10T01:34:24Z)
• Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
  英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。 得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。 In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
  論文  参考訳（メタデータ） (2022-10-24T11:41:20Z)
• LVP-M3: Language-aware Visual Prompt for Multilingual Multimodal Machine Translation [94.33019040320507]
  マルチモーダル機械翻訳(MMT)は、視覚的特徴を持つテキストのみの翻訳を強化することに焦点を当てている。 最近の進歩は、各言語ペアごとに別々のモデルをトレーニングすることに苦慮している。 7つの言語をカバーする2つのMultilingual MMTベンチマークデータセットを確立することで,Multilingual MMTタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-19T12:21:39Z)
• Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation [74.158365847236]
  SixT++は、100のソース言語をサポートする強力な多言語NMTモデルであるが、たった6つのソース言語からの並列データセットで一度トレーニングされている。 CRISSとm2m-100は、それぞれ7.2と5.0BLEUの2つの強い多言語NMTシステムより大幅に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T10:59:39Z)
• Breaking Down Multilingual Machine Translation [74.24795388967907]
  マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
  論文  参考訳（メタデータ） (2021-10-15T14:57:12Z)
• Multilingual Speech Translation with Unified Transformer: Huawei Noah's Ark Lab at IWSLT 2021 [33.876412404781846]
  本稿では,Huawei Noah の Ark Lab から IWSLT 2021 Speech Translation (MultiST) タスクに送信されたシステムについて述べる。 我々は、MultiSTモデルに統一トランスフォーマーアーキテクチャを使用し、異なるモダリティからのデータを活用してモデルの能力を高める。 マルチタスク学習やタスクレベルのカリキュラム学習,データ拡張など,パフォーマンス向上のために,いくつかのトレーニング手法を適用した。
  論文  参考訳（メタデータ） (2021-06-01T02:50:49Z)
• Improving Target-side Lexical Transfer in Multilingual Neural Machine Translation [104.10726545151043]
  マルチリンガルデータは、LRLからターゲット言語に翻訳するNMTモデルにとって、LRLに翻訳するモデルよりも有益であることが判明した。 実験の結果,DecSDEは最大1.8BLEUの英語から4つの言語への翻訳において一貫した向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-10-04T19:42:40Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。