論文の概要: Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation

• arxiv url: http://arxiv.org/abs/2402.01772v1
• Date: Thu, 1 Feb 2024 10:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 02:19:15.694974
• Title: Disentangling the Roles of Target-Side Transfer and Regularization in Multilingual Machine Translation
• Title（参考訳）: 多言語機械翻訳におけるターゲット側転送と正規化の役割の解明
• Authors: Yan Meng and Christof Monz
• Abstract要約: 我々は2次元の補助的対象側言語を変化させる大規模研究を行う。 言語的に類似したターゲット言語は、肯定的な知識を伝達する強い能力を示す。 類似のターゲット言語のサイズが大きくなると、前向きな変換が強化され、主要な言語ペアにメリットがもたらされる。 一方、遠方の補助的対象言語は、最小限の正の転送能力を持ちながら、予期せずメイン言語ペアの恩恵を受けることができる。
• 参考スコア（独自算出の注目度）: 9.838281446902268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual Machine Translation (MMT) benefits from knowledge transfer across different language pairs. However, improvements in one-to-many translation compared to many-to-one translation are only marginal and sometimes even negligible. This performance discrepancy raises the question of to what extent positive transfer plays a role on the target-side for one-to-many MT. In this paper, we conduct a large-scale study that varies the auxiliary target side languages along two dimensions, i.e., linguistic similarity and corpus size, to show the dynamic impact of knowledge transfer on the main language pairs. We show that linguistically similar auxiliary target languages exhibit strong ability to transfer positive knowledge. With an increasing size of similar target languages, the positive transfer is further enhanced to benefit the main language pairs. Meanwhile, we find distant auxiliary target languages can also unexpectedly benefit main language pairs, even with minimal positive transfer ability. Apart from transfer, we show distant auxiliary target languages can act as a regularizer to benefit translation performance by enhancing the generalization and model inference calibration.
• Abstract（参考訳）: 多言語機械翻訳(MMT)は、異なる言語ペア間の知識伝達の恩恵を受ける。 しかし、多対多の翻訳に比べて一対多の翻訳の改善は限界に過ぎず、時には無視されることもある。 本稿では,言語的類似度とコーパスサイズという2つの次元に沿って補助的対象言語を変化させ,知識伝達が主言語対に与える影響を動的に示す大規模研究を行う。 言語的に類似した補助対象言語は、肯定的な知識を伝達する強い能力を示す。 類似のターゲット言語のサイズが大きくなると、前向きな変換が強化され、主要な言語ペアにメリットがもたらされる。 一方、遠方の補助的対象言語は、最小限の正の転送能力を持っても、予想外に主言語ペアに利益をもたらす可能性がある。 転送以外にも、一般化とモデル推論のキャリブレーションを強化して翻訳性能を向上させるために、遠隔補助目標言語がレギュレータとして機能することを示す。

関連論文リスト

• ShifCon: Enhancing Non-Dominant Language Capabilities with a Shift-based Contrastive Framework [79.72910257530795]
  ShifConはShiftベースのContrastiveフレームワークで、他の言語の内部の前進プロセスを支配的な言語に合わせる。 非支配的な言語の表現を支配的な言語サブスペースに移行し、モデルパラメータにエンコードされた比較的リッチな情報にアクセスできるようにする。 実験により、我々のShifConフレームワークは、非支配言語の性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-25T10:28:59Z)
• An Efficient Approach for Studying Cross-Lingual Transfer in Multilingual Language Models [26.72394783468532]
  本稿では,他の対象言語に対するゼロショット性能における転送言語の影響を研究するためのテキスト効率の手法を提案する。 以上の結果から,一部の言語,特に事前学習中に見つからない言語は,異なる対象言語に対して極めて有益あるいは有害である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-03-29T09:52:18Z)
• Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning? [8.630930380973489]
  本稿では,機械翻訳を言語表現学習の強化を目的とした継続的な学習目的として活用する可能性について検討する。 この結果から,機械翻訳の継続学習が言語間表現学習の強化に失敗することが明らかとなった。 言語横断シナリオにおける明示的な文レベルのアライメントは、言語間移動事前学習に有害である、と結論付けた。
  論文  参考訳（メタデータ） (2024-03-25T13:53:04Z)
• Analysing Cross-Lingual Transfer in Low-Resourced African Named Entity Recognition [0.10641561702689348]
  低リソース言語10言語間の言語間移動学習の特性について検討する。 一つの言語でうまく機能するモデルは、他の言語への一般化を犠牲にして、しばしばそうする。 ソースとターゲットデータセット間で重複するデータの量は、言語間の地理的あるいは遺伝的距離よりも、転送性能の予測器として優れている。
  論文  参考訳（メタデータ） (2023-09-11T08:56:47Z)
• Viewing Knowledge Transfer in Multilingual Machine Translation Through a Representational Lens [15.283483438956264]
  本稿では,言語間の表現的類似度を測定するRepresentational Transfer potential (RTP)を紹介する。 RTPは正と負の両方の転送(干渉)を計測できることを示し、RTPは翻訳品質の変化と強く相関していることを示した。 我々は,言語間で表現をより不変にするための補助的類似性損失を用いた新しい学習手法を開発した。
  論文  参考訳（メタデータ） (2023-05-19T09:36:48Z)
• Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? [50.48082721476612]
  マルチリンガルBERT (mBERT) は, 言語間シンタクティックな機能を示した。 我々は,mBERTから引き起こされる文法的関係の分布を,24言語に類型的に異なる文脈で検討した。
  論文  参考訳（メタデータ） (2022-12-21T09:44:08Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。