論文の概要: How to Use Parallel Data for Multilingual Pretraining

• arxiv url: http://arxiv.org/abs/2610.28838v1
• Date: Tue, 20 Oct 2026 19:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.215801
• Title: How to Use Parallel Data for Multilingual Pretraining
• Title（参考訳）: 多言語事前学習における並列データの利用法
• Abstract要約: 平行コーパスは言語間移動を改善することができるが、大規模な事前訓練には小さすぎる。 標準多言語事前学習サンプルは、ソース文書とその翻訳を独立して作成する。 本研究では,データの並列構造を用いて,各文書を同一のトレーニングシーケンスで変換することで,多言語事前学習を改善する方法について検討する。
• 参考スコア（独自算出の注目度）: 37.5770683166369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High-quality human-translated parallel corpora can improve cross-lingual transfer, but are typically too small for large-scale pretraining. Machine-translated web corpora help overcome this limitation, making parallel data available at pretraining scale. Standard multilingual pretraining, however, samples source documents and their translations independently, without explicitly using their parallel structure. We investigate how to use the parallel structure of the data to improve multilingual pretraining by concatenating each document with its translation in the same training sequence. We compare this parallel pretraining (PPT) approach with standard pretraining (SPT), training models from scratch at matched token budgets. Surprisingly, despite the benefits of parallel data reported in prior cross-lingual work, PPT alone does not consistently improve language understanding over SPT. Our further analysis suggests that although PPT builds a strong cross-lingual foundation, as shown by its better use of shared information across languages, the mismatch between parallel training contexts and single-language task inputs limits its gains in general language understanding. This finding motivates a two-stage approach following the pretraining-fine-tuning paradigm: we first use PPT to build a cross-lingual foundation, then continue with SPT to adapt it to standard language modeling. In both high-resource and low-resource settings, the two-stage approach consistently improves general language understanding and cross-lingual task performance over standard pretraining alone at matched training budgets.
• Abstract（参考訳）: 高品質の人間翻訳パラレルコーパスは言語間移動を改善することができるが、大規模な事前訓練には小さすぎる。 機械翻訳されたWebコーパスは、この制限を克服し、事前トレーニングスケールで並列データを利用できるようにする。 しかし、標準多言語事前学習は、ソース文書とその翻訳を、その並列構造を明示的に使用せずに、独立してサンプリングする。 本研究では,データの並列構造を用いて,各文書を同一のトレーニングシーケンスで変換することで,多言語事前学習を改善する方法について検討する。 我々は、この並列事前訓練(PPT)アプローチと標準事前訓練(SPT)アプローチを比較し、一致したトークン予算でスクラッチからトレーニングモデルを訓練する。 驚いたことに、従来の言語間作業で報告された並列データの利点にもかかわらず、PTだけではSPTよりも言語理解が一貫して改善されない。 さらに分析した結果, PPTは言語間での共有情報の利用が向上する一方で, 並列学習コンテキストと単一言語タスク入力のミスマッチは, 言語理解においてその優位性を制限することが示唆された。 この発見は、事前訓練-微調整のパラダイムに従って、2段階のアプローチを動機付けます。まず最初に、PPTを使用して言語間基盤を構築し、続いてSPTを使って標準言語モデリングに適応します。 高リソースと低リソースの両方の環境では、2段階のアプローチは、一致したトレーニング予算での標準事前トレーニングのみよりも、一般的な言語理解と言語間タスクのパフォーマンスを一貫して改善します。

関連論文リスト

• EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training [8.56742227411733]
  大きな言語モデル(LLM)は、主に英語中心のデータに基づいて訓練されており、その結果、より小さな言語では不均一なパフォーマンスが得られる。 プレトレーニング付き多言語LLMにおいて,継続事前訓練(CPT)がエストニアの能力を大幅に向上するか否かを検討した。
  論文  参考訳（メタデータ） (2026-03-02T16:24:36Z)
• Enhancing Multilingual Embeddings via Multi-Way Parallel Text Alignment [6.718469075779034]
  マルチウェイ並列コーパスによる言語間アライメントのための標準トレーニングモデルにより,NLUタスクの表現を大幅に改善できることを示す。 我々は,6つのターゲット言語からなるプールに対して,市販のNMTモデルから英文を翻訳したマルチウェイ並列データセットを構築した。
  論文  参考訳（メタデータ） (2026-02-25T03:58:24Z)
• The Role of Mixed-Language Documents for Multilingual Large Language Model Pretraining [29.376308590290297]
  標準的なWebコーパスとモノリンガルのみのバージョンを比較し、すべてのマルチリンガル文書を削除します。 意味的関連性に基づき,バイリンガルデータを並列(14%),コードスイッチング(72%),雑多な文書(14%)に分類した。 並列データがほぼ完全に変換性能を回復するのに対して、コードスイッチングは最小限に寄与する。
  論文  参考訳（メタデータ） (2026-01-01T14:52:06Z)
• From Unaligned to Aligned: Scaling Multilingual LLMs with Multi-Way Parallel Corpora [80.0547333327488]
  TED Talks に基づく大規模かつ高品質なマルチウェイ並列コーパス TED2025 を導入する。 このデータセットは113の言語にまたがっており、最大50の言語が並列に並び、広範囲にわたるマルチリンガルカバレッジを保証する。 実験により、マルチウェイ並列データでトレーニングされたモデルは、不整合多言語データでトレーニングされたモデルよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-05-20T07:43:45Z)
• PEACH: Pre-Training Sequence-to-Sequence Multilingual Models for Translation with Semi-Supervised Pseudo-Parallel Document Generation [5.004814662623874]
  本稿では,多言語事前学習のための高品質な擬似並列データを生成する,新しい半教師付きSPDGを提案する。 実験の結果, PEACH はmT5 と mBART を様々な翻訳タスクで訓練する上で, 既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-04-03T18:19:26Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。