論文の概要: The USYD-JD Speech Translation System for IWSLT 2021

• arxiv url: http://arxiv.org/abs/2107.11572v1
• Date: Sat, 24 Jul 2021 09:53:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 08:56:15.020711
• Title: The USYD-JD Speech Translation System for IWSLT 2021
• Title（参考訳）: IWSLT 2021のためのUSYD-JD音声翻訳システム
• Authors: Liang Ding, Di Wu, Dacheng Tao
• Abstract要約: 本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
• 参考スコア（独自算出の注目度）: 85.64797317290349
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper describes the University of Sydney& JD's joint submission of the IWSLT 2021 low resource speech translation task. We participated in the Swahili-English direction and got the best scareBLEU (25.3) score among all the participants. Our constrained system is based on a pipeline framework, i.e. ASR and NMT. We trained our models with the officially provided ASR and MT datasets. The ASR system is based on the open-sourced tool Kaldi and this work mainly explores how to make the most of the NMT models. To reduce the punctuation errors generated by the ASR model, we employ our previous work SlotRefine to train a punctuation correction model. To achieve better translation performance, we explored the most recent effective strategies, including back translation, knowledge distillation, multi-feature reranking and transductive finetuning. For model structure, we tried auto-regressive and non-autoregressive models, respectively. In addition, we proposed two novel pre-train approaches, i.e. \textit{de-noising training} and \textit{bidirectional training} to fully exploit the data. Extensive experiments show that adding the above techniques consistently improves the BLEU scores, and the final submission system outperforms the baseline (Transformer ensemble model trained with the original parallel data) by approximately 10.8 BLEU score, achieving the SOTA performance.
• Abstract（参考訳）: 本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 我々はスワヒリ・イングリッシュ・コースに参加し,全参加者の中で最高のスカーレBLEU(25.3)スコアを得た。 私たちの制約のあるシステムはパイプラインフレームワークに基づいている。 ASRとNMT。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 ASRシステムはオープンソースツールであるKaldiをベースにしており、この研究は主にNMTモデルを最大限に活用する方法を探求している。 ASRモデルにより生じる句読点誤差を低減するため,従来の作業であるSlotRefineを用いて句読点補正モデルを訓練した。 翻訳性能を向上させるため, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法を検討した。 モデル構造について, 自己回帰モデルと非自己回帰モデルを比較した。 さらに,新しいプリトレイン方式を2つ提案した。 データを十分に活用するための \textit{de-noising training} と \textit{bidirectional training} です。 大規模な実験により、上記の手法の追加はBLEUスコアを一貫して改善し、最終提出システムはベースライン(トランスフォーマーアンサンブルモデルでトレーニングされた元の並列データ)を約10.8 BLEUスコアで上回り、SOTAパフォーマンスを達成する。

関連論文リスト

• Strategies for improving low resource speech to text translation relying on pre-trained ASR models [59.90106959717875]
  本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。 本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
  論文  参考訳（メタデータ） (2023-05-31T21:58:07Z)
• Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task [49.916963624249355]
  本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。 我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。 本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
  論文  参考訳（メタデータ） (2022-10-17T04:34:09Z)
• End-to-End Training for Back-Translation with Categorical Reparameterization Trick [0.0]
  バックトランスレーションは、ニューラルネットワーク翻訳(NMT)における効果的な半教師付き学習フレームワークである 事前学習されたNMTモデルは、モノリンガル文を翻訳し、他のNMTモデルのトレーニングのために合成バイリンガル文ペアを作成する。 翻訳文の離散的性質は、情報勾配が2つのNMTモデル間で流れるのを防ぐ。
  論文  参考訳（メタデータ） (2022-02-17T06:31:03Z)
• Improving Neural Machine Translation by Denoising Training [95.96569884410137]
  本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。 モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。 実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
  論文  参考訳（メタデータ） (2022-01-19T00:11:38Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• A Technical Report: BUT Speech Translation Systems [2.9327503320877457]
  本稿では,BUTの音声翻訳システムについて述べる。 システムは英語$longrightarrow$Germanのオフライン音声翻訳システムである。 オラクル入力テキストと比較して、ASR仮説を翻訳する際には、大きな劣化が観察される。
  論文  参考訳（メタデータ） (2020-10-22T10:52:31Z)
• Jointly Trained Transformers models for Spoken Language Translation [2.3886615435250302]
  この研究は、補助的な損失としてASR目標を持つSLTシステムを訓練し、両方のネットワークは神経隠れ表現を介して接続される。 このアーキテクチャはBLEUから36.8から44.5に改善されている。 すべての実験はハウ2コーパスを用いた英語・ポルトガル語音声翻訳タスクで報告される。
  論文  参考訳（メタデータ） (2020-04-25T11:28:39Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。