論文の概要: Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment

• arxiv url: http://arxiv.org/abs/2311.08089v2
• Date: Wed, 12 Jun 2024 12:25:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 23:23:18.334233
• Title: Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment
• Title（参考訳）: 言語間アライメントを用いた多言語生成言語モデルの文脈内学習の改善
• Authors: Chong Li, Shaonan Wang, Jiajun Zhang, Chengqing Zong,
• Abstract要約: 本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。 実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
• 参考スコア（独自算出の注目度）: 42.624862172666624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual generative models obtain remarkable cross-lingual in-context learning capabilities through pre-training on large-scale corpora. However, they still exhibit a performance bias toward high-resource languages and learn isolated distributions of multilingual sentence representations, which may hinder knowledge transfer across languages. To bridge this gap, we propose a simple yet effective cross-lingual alignment framework exploiting pairs of translation sentences. It aligns the internal sentence representations across different languages via multilingual contrastive learning and aligns outputs by following cross-lingual instructions in the target language. Experimental results show that even with less than 0.1 {\textperthousand} of pre-training tokens, our alignment framework significantly boosts the cross-lingual abilities of generative language models and mitigates the performance gap. Further analyses reveal that it results in a better internal multilingual representation distribution of multilingual models.
• Abstract（参考訳）: 多言語生成モデルは、大規模コーパスの事前学習を通じて、顕著な言語間対話型インコンテキスト学習能力を得る。 しかし、ハイリソース言語に対する性能バイアスを示し、多言語文表現の独立した分布を学習し、言語間の知識伝達を妨げる可能性がある。 このギャップを埋めるために,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習により、異なる言語にまたがる内部文表現を整列し、対象言語における言語間命令に従うことによって出力を整列する。 実験結果から,事前学習トークンの0.1 {\textperthousand} 未満であっても,我々のアライメントフレームワークは生成言語モデルの言語間相互能力を大幅に向上させ,性能ギャップを緩和することが示された。 さらに解析した結果、多言語モデルのより優れた内部多言語表現分布が得られることが明らかになった。

関連論文リスト

• Synergistic Approach for Simultaneous Optimization of Monolingual, Cross-lingual, and Multilingual Information Retrieval [5.446052898856584]
  本稿では,モノリンガル,クロスリンガル,マルチリンガル設定におけるゼロショット検索性能を改善するためのハイブリッドバッチ学習手法を提案する。 このアプローチは、データセットサイズに基づいてサンプリングされたモノリンガルとクロスリンガルの問合せ対のバッチを混合したマルチリンガル言語モデルを微調整する。
  論文  参考訳（メタデータ） (2024-08-20T04:30:26Z)
• Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning? [8.630930380973489]
  本稿では,機械翻訳を言語表現学習の強化を目的とした継続的な学習目的として活用する可能性について検討する。 この結果から,機械翻訳の継続学習が言語間表現学習の強化に失敗することが明らかとなった。 言語横断シナリオにおける明示的な文レベルのアライメントは、言語間移動事前学習に有害である、と結論付けた。
  論文  参考訳（メタデータ） (2024-03-25T13:53:04Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Probing Multilingual Language Models for Discourse [0.0]
  XLM-RoBERTaファミリーのモデルが常に最高のパフォーマンスを示していることが分かりました。 また, モデル蒸留は, 文表現の言語間移動能力に悪影響を及ぼす可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-09T06:34:21Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora [21.78571365050787]
  ERNIE-Mは、複数の言語の表現をモノリンガルコーパスと整合させる新しいトレーニング手法である。 単言語コーパス上で擬似並列文ペアを生成し、異なる言語間のセマンティックアライメントの学習を可能にする。 実験結果から,ERNIE-Mは既存の言語間モデルよりも優れており,様々な言語間下流タスクに対して新たな最先端結果を提供することがわかった。
  論文  参考訳（メタデータ） (2020-12-31T15:52:27Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。