論文の概要: Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task

• arxiv url: http://arxiv.org/abs/2210.08742v1
• Date: Mon, 17 Oct 2022 04:34:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 18:25:14.176742
• Title: Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task
• Title（参考訳）: Tencent AI Lab -hanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task
• Authors: Zhiwei He, Xing Wang, Zhaopeng Tu, Shuming Shi, Rui Wang
• Abstract要約: 本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。 我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。 本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
• 参考スコア（独自算出の注目度）: 49.916963624249355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation systems for the WMT22 shared task. We participate in the general translation task on English$\Leftrightarrow$Livonian. Our system is based on M2M100 with novel techniques that adapt it to the target language pair. (1) Cross-model word embedding alignment: inspired by cross-lingual word embedding alignment, we successfully transfer a pre-trained word embedding to M2M100, enabling it to support Livonian. (2) Gradual adaptation strategy: we exploit Estonian and Latvian as auxiliary languages for many-to-many translation training and then adapt to English-Livonian. (3) Data augmentation: to enlarge the parallel data for English-Livonian, we construct pseudo-parallel data with Estonian and Latvian as pivot languages. (4) Fine-tuning: to make the most of all available data, we fine-tune the model with the validation set and online back-translation, further boosting the performance. In model evaluation: (1) We find that previous work underestimated the translation performance of Livonian due to inconsistent Unicode normalization, which may cause a discrepancy of up to 14.9 BLEU score. (2) In addition to the standard validation set, we also employ round-trip BLEU to evaluate the models, which we find more appropriate for this task. Finally, our unconstrained system achieves BLEU scores of 17.0 and 30.4 for English to/from Livonian.
• Abstract（参考訳）: 本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。 我々は、英語$\Leftrightarrow$Livonianの一般翻訳タスクに参加している。 本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。 1) クロスモデル単語埋め込みアライメント: 言語間単語埋め込みアライメントにヒントを得て, 事前学習した単語埋め込みをM2M100に転送し, リヴォニア語をサポートする。 2)言語適応戦略:エストニア語とラトビア語を多言語翻訳訓練の補助言語として活用し,英語・リヴォニア語に適応する。 3)データ拡張:英語-リヴォニア語の並列データを拡大するために、エストニア語とラトビア語をピボット言語として疑似パラレルデータを構築する。 (4) 微調整: 利用可能なすべてのデータを最大限に活用するために、バリデーションセットとオンラインバックトランスレーションでモデルを微調整し、パフォーマンスをさらに向上させます。 モデル評価では,(1)先行研究はUnicode正規化の不整合によるリヴォニア語の翻訳性能を過小評価しており,最大14.9BLEUスコアの差が生じる可能性がある。 2) 標準検証セットに加えて, モデル評価にラウンドトリップBLEUも採用している。 最終的に、我々の制約のないシステムは、リヴォニアンの英語のBLEUスコア17.0と30.4を達成する。

関連論文リスト

• A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models [27.777372498182864]
  生成型大規模言語モデル(LLM)のための新しい微調整手法を提案する。 提案手法は,モノリンガルデータに対する初期微調整と,それに続く少数の高品質並列データに対する微調整の2段階からなる。 LLaMA-2を基礎モデルとして,このモデルではゼロショット性能よりも12BLEUおよび12COMETの平均的な改善が達成できることを示した。
  論文  参考訳（メタデータ） (2023-09-20T22:53:15Z)
• Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22 [4.382973957294345]
  本稿では,機械翻訳ワークショップ2022手話翻訳タスクのためにカタルーニャ大学ポリテシカ校で開発されたシステムについて述べる。 本研究では、Fairseqモデリングツールキットで実装されたTransformerモデルを用いる。 我々は,語彙サイズ,データ拡張手法,ENIX-14Tデータセットを用いた事前学習実験を行った。
  論文  参考訳（メタデータ） (2022-12-02T12:42:24Z)
• BJTU-WeChat's Systems for the WMT22 Chat Translation Task [66.81525961469494]
  本稿では,WMT'22チャット翻訳タスクに対して,北京地東大学とWeChat AIを共同で提案する。 Transformerに基づいて、いくつかの有効な変種を適用します。 本システムでは,0.810と0.946のCOMETスコアを達成している。
  論文  参考訳（メタデータ） (2022-11-28T02:35:04Z)
• TSMind: Alibaba and Soochow University's Submission to the WMT22 Translation Suggestion Task [16.986003476984965]
  本稿では,Alibaba と Soochow 大学 TSMind の WMT 2022 Shared Task on Translation Suggestion への共同提出について述べる。 基本的に、大規模な事前学習モデルに基づいて、下流タスクを微調整するモデルパラダイムを利用する。 トレーニングデータの限られた使用状況を考えると,WeTSが提案するデータ拡張戦略に従えば,TSモデルの性能が向上する。
  論文  参考訳（メタデータ） (2022-11-16T15:43:31Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings [51.47607125262885]
  不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。 我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-10-15T14:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。