論文の概要: Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders

• arxiv url: http://arxiv.org/abs/2006.01594v1
• Date: Fri, 29 May 2020 19:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 23:31:41.781867
• Title: Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders
• Title（参考訳）: 交互凍結型言語専用エンコーダデコーダによる多言語機械翻訳の訓練
• Authors: Carlos Escolano, Marta R. Costa-juss\`a, Jos\'e A. R. Fonollosa and Mikel Artetxe
• Abstract要約: 本稿では,新たな言語を追加する際に,既存のシステムを再学習することなく,新たな言語に漸進的に拡張可能な多言語機械翻訳システムを提案する。 エンコーダやデコーダモジュールを交互に凍結することで,すべての翻訳方向で$N$言語を同時にトレーニングする。 多言語機械翻訳による実験結果から,新しい言語の追加やゼロショット翻訳を行う場合,初期言語を少し遅れながら改良したモジュラーアーキテクチャのトレーニングに成功していることがわかった。
• 参考スコア（独自算出の注目度）: 20.063065730835874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a modular architecture of language-specific encoder-decoders that constitutes a multilingual machine translation system that can be incrementally extended to new languages without the need for retraining the existing system when adding new languages. Differently from previous works, we simultaneously train $N$ languages in all translation directions by alternately freezing encoder or decoder modules, which indirectly forces the system to train in a common intermediate representation for all languages. Experimental results from multilingual machine translation show that we can successfully train this modular architecture improving on the initial languages while falling slightly behind when adding new languages or doing zero-shot translation. Additional comparison of the quality of sentence representation in the task of natural language inference shows that the alternately freezing training is also beneficial in this direction.
• Abstract（参考訳）: 本稿では,多言語機械翻訳システムを構成する言語固有のエンコーダ・デコーダのモジュール構造を提案する。 以前の作業とは違って、エンコーダまたはデコーダモジュールを交互に凍結させることで、すべての翻訳方向の$n$言語を同時にトレーニングし、間接的にすべての言語で共通の中間表現でシステムをトレーニングさせます。 多言語機械翻訳による実験結果から,新しい言語の追加やゼロショット翻訳を行う場合,初期言語を少し遅れながら改良したモジュラーアーキテクチャのトレーニングに成功していることがわかった。 自然言語推論のタスクにおける文表現の質のさらなる比較は、交互凍結訓練もこの方向に有益であることを示している。

関連論文リスト

• Decoupled Vocabulary Learning Enables Zero-Shot Translation from Unseen Languages [55.157295899188476]
  ニューラルマシン翻訳システムは、異なる言語の文を共通の表現空間にマッピングすることを学ぶ。 本研究では、この仮説を未知の言語からのゼロショット翻訳により検証する。 この設定により、全く見えない言語からのゼロショット翻訳が可能になることを実証する。
  論文  参考訳（メタデータ） (2024-08-05T07:58:58Z)
• Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features [18.76505158652759]
  複数の言語間の意味的特徴と言語的特徴を利用して多言語翻訳を強化することを提案する。 エンコーダ側では,意味的特徴と言語的特徴を両立させることにより,エンコーダ表現を整合させる非係合学習タスクを導入する。 デコーダ側では、言語エンコーダを利用して低レベル言語機能を統合し、ターゲット言語生成を支援する。
  論文  参考訳（メタデータ） (2024-08-02T17:10:12Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models [55.35106713257871]
  DecoMTは、単語チャンク翻訳のシーケンスに翻訳プロセスを分解する、数発のプロンプトの新しいアプローチである。 DecoMTはBLOOMモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-22T14:52:47Z)
• Bitext Mining Using Distilled Sentence Representations for Low-Resource Languages [12.00637655338665]
  私たちは、非常に低リソースの言語を研究し、50のアフリカ言語を扱っています。 我々は文エンコーダ、マイニングビットクストを訓練し、NMTシステムのトレーニングによりビットクストを検証する。 これらの言語では、文エンコーダ、ビットクストをマイニングし、NMTシステムのトレーニングによってビットクストを検証する。
  論文  参考訳（メタデータ） (2022-05-25T10:53:24Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Breaking Down Multilingual Machine Translation [74.24795388967907]
  マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
  論文  参考訳（メタデータ） (2021-10-15T14:57:12Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• Towards Continual Learning for Multilingual Machine Translation via Vocabulary Substitution [16.939016405962526]
  多言語機械翻訳モデルの言語能力を拡張するための簡単な語彙適応スキームを提案する。 提案手法は大規模データセットに適合し,未知のスクリプトを持つ遠隔言語に適用し,元の言語ペアの翻訳性能をわずかに低下させるだけである。
  論文  参考訳（メタデータ） (2021-03-11T17:10:21Z)
• Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders [20.063065730835874]
  最先端の多言語機械翻訳はユニバーサルエンコーダデコーダに依存している。 本稿では,言語固有のエンコーダデコーダに基づく代替手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T15:02:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。