論文の概要: Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning?
- arxiv url: http://arxiv.org/abs/2403.16777v1
- Date: Mon, 25 Mar 2024 13:53:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 20:03:02.296552
- Title: Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning?
- Title（参考訳）: 機械翻訳橋の多言語事前学習と言語間移動学習は可能か?
- Authors: Shaoxiong Ji, Timothee Mickus, Vincent Segonne, Jörg Tiedemann,
- Abstract要約: 本稿では,機械翻訳を言語表現学習の強化を目的とした継続的な学習目的として活用する可能性について検討する。
この結果から,機械翻訳の継続学習が言語間表現学習の強化に失敗することが明らかとなった。
言語横断シナリオにおける明示的な文レベルのアライメントは、言語間移動事前学習に有害である、と結論付けた。
- 参考スコア（独自算出の注目度）: 8.630930380973489
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual pretraining and fine-tuning have remarkably succeeded in various natural language processing tasks. Transferring representations from one language to another is especially crucial for cross-lingual learning. One can expect machine translation objectives to be well suited to fostering such capabilities, as they involve the explicit alignment of semantically equivalent sentences from different languages. This paper investigates the potential benefits of employing machine translation as a continued training objective to enhance language representation learning, bridging multilingual pretraining and cross-lingual applications. We study this question through two lenses: a quantitative evaluation of the performance of existing models and an analysis of their latent representations. Our results show that, contrary to expectations, machine translation as the continued training fails to enhance cross-lingual representation learning in multiple cross-lingual natural language understanding tasks. We conclude that explicit sentence-level alignment in the cross-lingual scenario is detrimental to cross-lingual transfer pretraining, which has important implications for future cross-lingual transfer studies. We furthermore provide evidence through similarity measures and investigation of parameters that this lack of positive influence is due to output separability -- which we argue is of use for machine translation but detrimental elsewhere.
- Abstract（参考訳）: 多言語事前学習と微調整は、様々な自然言語処理タスクにおいて顕著に成功している。
ある言語から別の言語への表現の転送は、特に言語間学習において重要である。
機械翻訳の目的は、異なる言語から意味論的に等価な文を明示的にアライメントすることを含むため、そのような能力を育むのに適していると期待できる。
本稿では,言語表現学習,ブリッジング,多言語事前学習,言語横断的応用の促進を目的として,機械翻訳を継続的な学習目的として活用する可能性について検討する。
既存のモデルの性能を定量的に評価し,その潜在表現を解析する。
この結果から,複数の言語間自然言語理解タスクにおいて,機械翻訳の継続学習が言語間表現学習の強化に失敗することが明らかとなった。
本研究は, 言語横断シナリオにおける明示的な文レベルのアライメントは, 言語間移動事前学習に有害であり, 将来の言語間移動研究に重要な影響を及ぼすと結論付けた。
さらに、類似度測定やパラメータの調査を通じて、この肯定的な影響の欠如は、出力分離性によるものであるという証拠も提供します。
関連論文リスト
- Disentangling the Roles of Target-Side Transfer and Regularization in
Multilingual Machine Translation [9.838281446902268]
我々は2次元の補助的対象側言語を変化させる大規模研究を行う。
言語的に類似したターゲット言語は、肯定的な知識を伝達する強い能力を示す。
類似のターゲット言語のサイズが大きくなると、前向きな変換が強化され、主要な言語ペアにメリットがもたらされる。
一方、遠方の補助的対象言語は、最小限の正の転送能力を持ちながら、予期せずメイン言語ペアの恩恵を受けることができる。
論文 参考訳（メタデータ） (2024-02-01T10:55:03Z) - Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。
多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。
実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
論文 参考訳（メタデータ） (2023-11-14T11:24:08Z) - Towards a Deep Understanding of Multilingual End-to-End Speech
Translation [52.26739715012842]
我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。
我々は分析から3つの大きな発見を得た。
論文 参考訳（メタデータ） (2023-10-31T13:50:55Z) - VECO 2.0: Cross-lingual Language Model Pre-training with
Multi-granularity Contrastive Learning [56.47303426167584]
複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。
具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。
トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
論文 参考訳（メタデータ） (2023-04-17T12:23:41Z) - Cross-Lingual Language Model Meta-Pretraining [21.591492094502424]
異なる学習段階における2つの能力について学習する言語間メタプレトレーニングを提案する。
本手法は一般化と言語間移動を両立させ,様々な言語にまたがる表現の整合性を向上する。
論文 参考訳（メタデータ） (2021-09-23T03:47:44Z) - Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。
前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。
本稿では,ラベルのないデータを利用して性能を向上する。
論文 参考訳（メタデータ） (2021-05-08T08:04:30Z) - First Align, then Predict: Understanding the Cross-Lingual Ability of
Multilingual BERT [2.2931318723689276]
言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。
多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。
エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
論文 参考訳（メタデータ） (2021-01-26T22:12:38Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳（メタデータ） (2020-10-30T03:41:38Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z) - Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。
自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。
また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
論文 参考訳（メタデータ） (2020-04-09T17:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。