論文の概要: Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance

• arxiv url: http://arxiv.org/abs/2604.10590v1
• Date: Sun, 12 Apr 2026 11:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.120814
• Title: Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance
• Title（参考訳）: ブリッジング言語ギャップ:多言語LLM性能向上のための事前学習とデータセットにおける言語間マッピング
• Authors: Weihua Zheng, Chang Liu, Zhengyuan Liu, Xin Huang, Kui Wu, Muhammad Huzaifah Md Shahrin, Aiti Aw, Roy Ka-Wei Lee,
• Abstract要約: 大規模言語モデル(LLM)は、高リソース言語と低リソース言語の間のデータ不均衡により、言語間タスクに苦しむ。 バイリンガル微調整やコントラストアライメントといった既存の手法は、言語間性能を向上させることができる。 事前学習期間中に言語間マッピングタスクを導入し,言語間アライメントを向上させることで,単言語間の流速を損なうことなく,言語間アライメントを向上させる。
• 参考スコア（独自算出の注目度）: 30.9640918372872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual Large Language Models (LLMs) struggle with cross-lingual tasks due to data imbalances between high-resource and low-resource languages, as well as monolingual bias in pre-training. Existing methods, such as bilingual fine-tuning and contrastive alignment, can improve cross-lingual performance, but they often require extensive parallel data or suffer from instability. To address these challenges, we introduce a Cross-Lingual Mapping Task during the pre-training phase, which enhances cross-lingual alignment without compromising monolingual fluency. Our approach bi-directionally maps languages within the LLM embedding space, improving both language generation and comprehension. We further propose a Language Alignment Coefficient to robustly quantify cross-lingual consistency, even in limited-data scenarios. Experimental results on machine translation (MT), cross-lingual natural language understanding (CLNLU), and cross-lingual question answering (CLQA) show that our model achieves gains of up to 11.9 BLEU points in MT, 6.72 points in CLQA BERTScore-Precision, and more than 5% in CLNLU accuracy over strong multilingual baselines. These findings highlight the potential of incorporating cross-lingual objectives into pre-training to improve multilingual LLMs.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は、高リソース言語と低リソース言語のデータの不均衡と事前学習におけるモノリンガルバイアスによって、言語間タスクに苦しむ。 バイリンガル微調整やコントラストアライメントのような既存の手法は、言語間性能を改善することができるが、しばしば広範な並列データを必要とするか不安定に悩まされる。 これらの課題に対処するため,事前学習期間中に言語間マッピングタスクを導入し,言語間アライメントを向上させる。 我々のアプローチは、LLM埋め込み空間内の言語を双方向にマッピングし、言語生成と理解の両方を改善します。 さらに、限定データシナリオにおいても、言語間の一貫性を堅牢に定量化する言語アライメント係数を提案する。 機械翻訳 (MT), 言語間自然言語理解 (CLNLU), 言語間質問応答 (CLQA) による実験結果から, MT では最大 11.9 BLEU 点, CLQA BERTScore-Precision では 6.72 点, CLNLU では 5% 以上の精度が得られた。 これらの知見は,多言語 LLM の改善のために,言語横断目標を事前学習に組み込むことの可能性を強調した。

関連論文リスト

• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。