論文の概要: Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance

• arxiv url: http://arxiv.org/abs/2604.10590v1
• Date: Sun, 12 Apr 2026 11:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.120814
• Title: Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance
• Title（参考訳）: ブリッジング言語ギャップ:多言語LLM性能向上のための事前学習とデータセットにおける言語間マッピング
• Abstract要約: 大規模言語モデル(LLM)は、高リソース言語と低リソース言語の間のデータ不均衡により、言語間タスクに苦しむ。 バイリンガル微調整やコントラストアライメントといった既存の手法は、言語間性能を向上させることができる。 事前学習期間中に言語間マッピングタスクを導入し,言語間アライメントを向上させることで,単言語間の流速を損なうことなく,言語間アライメントを向上させる。
• 参考スコア（独自算出の注目度）: 30.9640918372872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual Large Language Models (LLMs) struggle with cross-lingual tasks due to data imbalances between high-resource and low-resource languages, as well as monolingual bias in pre-training. Existing methods, such as bilingual fine-tuning and contrastive alignment, can improve cross-lingual performance, but they often require extensive parallel data or suffer from instability. To address these challenges, we introduce a Cross-Lingual Mapping Task during the pre-training phase, which enhances cross-lingual alignment without compromising monolingual fluency. Our approach bi-directionally maps languages within the LLM embedding space, improving both language generation and comprehension. We further propose a Language Alignment Coefficient to robustly quantify cross-lingual consistency, even in limited-data scenarios. Experimental results on machine translation (MT), cross-lingual natural language understanding (CLNLU), and cross-lingual question answering (CLQA) show that our model achieves gains of up to 11.9 BLEU points in MT, 6.72 points in CLQA BERTScore-Precision, and more than 5% in CLNLU accuracy over strong multilingual baselines. These findings highlight the potential of incorporating cross-lingual objectives into pre-training to improve multilingual LLMs.
• Abstract（参考訳）: 多言語大言語モデル(LLM)は、高リソース言語と低リソース言語のデータの不均衡と事前学習におけるモノリンガルバイアスによって、言語間タスクに苦しむ。 バイリンガル微調整やコントラストアライメントのような既存の手法は、言語間性能を改善することができるが、しばしば広範な並列データを必要とするか不安定に悩まされる。 これらの課題に対処するため,事前学習期間中に言語間マッピングタスクを導入し,言語間アライメントを向上させる。 我々のアプローチは、LLM埋め込み空間内の言語を双方向にマッピングし、言語生成と理解の両方を改善します。 さらに、限定データシナリオにおいても、言語間の一貫性を堅牢に定量化する言語アライメント係数を提案する。 機械翻訳 (MT), 言語間自然言語理解 (CLNLU), 言語間質問応答 (CLQA) による実験結果から, MT では最大 11.9 BLEU 点, CLQA BERTScore-Precision では 6.72 点, CLNLU では 5% 以上の精度が得られた。 これらの知見は,多言語 LLM の改善のために,言語横断目標を事前学習に組み込むことの可能性を強調した。

関連論文リスト

• Enhancing Multilingual Embeddings via Multi-Way Parallel Text Alignment [6.718469075779034]
  マルチウェイ並列コーパスによる言語間アライメントのための標準トレーニングモデルにより,NLUタスクの表現を大幅に改善できることを示す。 我々は,6つのターゲット言語からなるプールに対して,市販のNMTモデルから英文を翻訳したマルチウェイ並列データセットを構築した。
  論文  参考訳（メタデータ） (2026-02-25T03:58:24Z)
• MuBench: Assessment of Multilingual Capabilities of Large Language Models Across 61 Languages [33.450081592217074]
  MuBenchは61の言語をカバーし、幅広い機能を評価するベンチマークです。 我々は、最先端の多言語LLMを評価し、請求項と実際の言語カバレッジとの間に顕著なギャップを見いだした。
  論文  参考訳（メタデータ） (2025-06-24T09:53:00Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。