論文の概要: Hierarchical Transformer for Multilingual Machine Translation

• arxiv url: http://arxiv.org/abs/2103.03589v1
• Date: Fri, 5 Mar 2021 10:51:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-09 06:49:08.626789
• Title: Hierarchical Transformer for Multilingual Machine Translation
• Title（参考訳）: 多言語機械翻訳のための階層的トランスフォーマー
• Authors: Albina Khusainova, Adil Khan, Ad\'in Ram\'irez Rivera, Vitaly Romanov
• Abstract要約: 多言語機械翻訳モデルにおけるパラメータ共有戦略の選択は、パラメータ空間の使用方法を決定する。 異なる言語間の関連性の程度を示す言語木に触発され、多言語機械翻訳におけるパラメータ共有に対する新しい一般的なアプローチが最近提案された。 注意深く選択されたトレーニング戦略の場合、階層的アーキテクチャは、パラメータの完全な共有により、バイリンガルモデルや多言語モデルを上回ることができる。
• 参考スコア（独自算出の注目度）: 3.441021278275805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The choice of parameter sharing strategy in multilingual machine translation models determines how optimally parameter space is used and hence, directly influences ultimate translation quality. Inspired by linguistic trees that show the degree of relatedness between different languages, the new general approach to parameter sharing in multilingual machine translation was suggested recently. The main idea is to use these expert language hierarchies as a basis for multilingual architecture: the closer two languages are, the more parameters they share. In this work, we test this idea using the Transformer architecture and show that despite the success in previous work there are problems inherent to training such hierarchical models. We demonstrate that in case of carefully chosen training strategy the hierarchical architecture can outperform bilingual models and multilingual models with full parameter sharing.
• Abstract（参考訳）: 多言語機械翻訳モデルにおけるパラメータ共有戦略の選択は、最適なパラメータ空間の使用方法を決定するため、最終的な翻訳品質に直接影響を及ぼす。 異なる言語間の関連性の程度を示す言語木に触発され、多言語機械翻訳におけるパラメータ共有に対する新しい一般的なアプローチが最近提案された。 主な考え方は、これらの専門家言語階層を多言語アーキテクチャの基礎として使うことである。 本研究では,Transformerアーキテクチャを用いてこのアイデアを検証し,従来の作業の成功にもかかわらず,そのような階層モデルのトレーニングに固有の問題があることを示す。 注意深く選択されたトレーニング戦略の場合、階層的アーキテクチャは、パラメータの完全な共有により、バイリンガルモデルや多言語モデルを上回ることができる。

関連論文リスト

• Understanding the role of FFNs in driving multilingual behaviour in LLMs [0.0]
  本稿では,大規模言語モデル群における多言語機能の詳細な分析を行う。 異なるレイヤにおけるモデルの多言語的振る舞いを探索する新しいメトリクスを導入し、多言語処理におけるアーキテクチャ選択の影響について光を当てる。
  論文  参考訳（メタデータ） (2024-04-22T03:47:00Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Building Multilingual Machine Translation Systems That Serve Arbitrary X-Y Translations [75.73028056136778]
  任意のX-Y翻訳方向に対応するMNMTシステムを実際に構築する方法を示す。 また,本提案手法を,実用的な展開シナリオに対応するため,極めて大規模なデータ設定で検討した。
  論文  参考訳（メタデータ） (2022-06-30T02:18:15Z)
• Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
  言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。 機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
  論文  参考訳（メタデータ） (2022-02-01T16:20:15Z)
• Parameter Differentiation based Multilingual Neural Machine Translation [37.16691633466614]
  多言語ニューラルマシン翻訳(MNMT)は、単一のモデルで複数の言語を翻訳することを目的としている。 どのパラメーターを共有すべきか、どのパラメーターをタスク特化する必要があるのかは、まだ明らかな疑問である。 本稿では,どのパラメータを言語固有のものにするかをモデルが決定できる新しいパラメータ微分法を提案する。
  論文  参考訳（メタデータ） (2021-12-27T11:41:52Z)
• Breaking Down Multilingual Machine Translation [74.24795388967907]
  マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
  論文  参考訳（メタデータ） (2021-10-15T14:57:12Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Adaptive Sparse Transformer for Multilingual Translation [18.017674093519332]
  多言語モデルの既知の課題は、否定的な言語干渉です。 多言語モデリングのための適応的でスパースなアーキテクチャを提案する。 我々のモデルは、推論コストを増加させることなく、翻訳品質の点で強力なベースラインを上回る。
  論文  参考訳（メタデータ） (2021-04-15T10:31:07Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• A Framework for Hierarchical Multilingual Machine Translation [3.04585143845864]
  本稿では,多言語機械翻訳戦略を構築するための階層的枠組みを提案する。 類似言語間の移動を可能にするために、類型的言語系木を利用する。 41言語からなるデータセット上での探索実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-05-12T01:24:43Z)
• UDapter: Language Adaptation for Truly Universal Dependency Parsing [6.346772579930929]
  言語間干渉と抑制されたモデルキャパシティは、多言語依存解析の主要な障害である。 本稿では,コンテキストパラメータ生成とアダプタモジュールに基づく多言語タスク適応手法を提案する。 その結果、UDapterは、高リソースと低リソース(ゼロショット)両方の言語で、強いモノリンガルと多言語ベースラインを上回ります。
  論文  参考訳（メタデータ） (2020-04-29T16:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。