論文の概要: A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM$Δ$ Integration into Upcycled MoE

• arxiv url: http://arxiv.org/abs/2605.18083v1
• Date: Mon, 18 May 2026 08:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.212396
• Title: A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM$Δ$ Integration into Upcycled MoE
• Title（参考訳）: 多言語 LLM へのデータ効率の良いパス: PARAM$Δ$ の学習後 MoE への統合による言語拡張
• Authors: Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang,
• Abstract要約: そこで我々は,高密度モデルをMixture-of-Experts(MoE)アーキテクチャにアップサイクルし,異なる専門家を異なる言語に割り当てる手法を提案する。 実験では、同様のFLOPやパラメータ数を持つベースラインに対してさえ、メソッドの優位性を示す。
• 参考スコア（独自算出の注目度）: 61.0405668388095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expanding Large Language Models~(LLMs) to new languages is a costly endeavor, demanding extensive Continued Pre-Training~(CPT) and data-intensive alignment. While recent data-free merging techniques attempt to bypass alignment by fusing a multilingual CPT-enhanced model with its instruct counterpart, they are plagued by a critical trade-off: mitigating parameter conflicts to preserve original abilities inevitably dilutes new language acquisition, and vice-versa. To resolve this conflict, we introduce \method, which upcycles a dense model into a Mixture-of-Experts~(MoE) architecture, allocating different experts to different languages. Alignment ability is then transferred by grafting a MoE-expanded parameter delta~($Δ_{\text{post}}$) to the CPT-enhanced base model, bypassing the complex alignment phase. Experiments demonstrate \method's superiority even against baselines with similar FLOPs or number of parameters; it improves performance on expanded languages while effectively preserving original capabilities. We further show our approach is highly applicable across different models and Post-training deltas.
• Abstract（参考訳）: 大規模言語モデル~(LLM)を新しい言語に拡張することはコストのかかる取り組みであり、拡張された事前訓練〜(CPT)とデータ集約アライメントを必要とする。 最近のデータフリーマージ技術は、多言語CPT強化モデルとインストラクションモデルとの融合によってアライメントを回避しようとするが、それらは重要なトレードオフに悩まされている。 この対立を解決するために,高密度モデルをMixture-of-Experts~(MoE)アーキテクチャにアップサイクルする‘method’を導入し,異なる専門家を異なる言語に割り当てる。 次に、アライメント能力は、複雑なアライメントフェーズをバイパスするCPT拡張ベースモデルに、MoE拡張パラメータ delta~($Δ_{\text{post}}$) を移植することで転送される。 実験では,同様のFLOPやパラメータ数を持つベースラインに対してさえ,‘method’の優位性を示す。 さらに、我々のアプローチは、異なるモデルとポストトレーニングデルタにまたがって高い適用性を示す。

関連論文リスト

• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing [78.62611800987817]
  大規模言語モデル(LLM)は、事前学習データに言語が不均等に分布するため、しばしば英語中心である。 そこで本稿では,MoE-LPR (Mixture-of-Experts with Language Priors) と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T07:43:49Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining [49.213120730582354]
  言語モデルをスクラッチから事前学習する代わりに、既存の事前学習言語モデル(PLM)を語彙拡張と継続事前学習を通じて新しい言語に適応させることがより効率的な方法である。 我々は、新しいフレームワークを提案する: $textbfO$ne $textbfF$or $textbfA$ll。
  論文  参考訳（メタデータ） (2023-11-15T10:40:45Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。