論文の概要: Parameter Alignment Mitigates Catastrophic Forgetting in Multilingual Expert Language Models

• arxiv url: http://arxiv.org/abs/2606.00284v1
• Date: Fri, 29 May 2026 19:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.202921
• Title: Parameter Alignment Mitigates Catastrophic Forgetting in Multilingual Expert Language Models
• Title（参考訳）: パラメータアライメントは多言語エキスパート言語モデルにおける破滅的予測を緩和する
• Abstract要約: 言語家族のトレーニングを組織することは言語間の干渉を減らすが、下流のタスクに必要な一般的な知識を忘れることを防ぐことはできない。 本稿では, ハード層凍結, ソフトレギュラー化, ポストホックウェイト・リバージョン, モデルマージの5つのパラメータアライメント戦略について述べる。 我々は、5つの言語ファミリーから32の訓練言語にまたがるベンチマークにおいて、正規化されていない2つのCPTベースラインに対するアライメント戦略を体系的に比較した。
• 参考スコア（独自算出の注目度）: 11.557479638024674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While continual pretraining~(CPT) is a practical way to extend large language models to new languages, naïve finetuning on targeted data erodes existing capabilities through catastrophic forgetting. Organizing training around language families reduces cross-language interference but cannot alone prevent forgetting of the general knowledge needed for downstream tasks. We link this forgetting to parameter drift in multilingual CPT and present a suite of five layer-aware parameter alignment strategies: hard layer freezing, soft regularization, post-hoc weight reversion, and model merging. We systematically compare our alignment strategies against two unregularized CPT baselines on benchmarks spanning 32 training languages from five language families, plus held-out languages, across four evaluation axes: perplexity, reading comprehension, physical reasoning, and translation. Parameter alignment substantially reduces forgetting at minimal cost to language acquisition: layer freezing and regularization best preserve comprehension, whereas post-hoc reversion yields the strongest translation gains. Together, these results map the acquisition--forgetting frontier for family-expert CPT and offer practical deployment guidelines pairing each strategy to the tasks it best serves.
• Abstract（参考訳）: CPT(Continuous Pretraining~)は、大規模言語モデルを新しい言語に拡張する実用的な方法であるが、ターゲットとするデータによる微調整は、破滅的な忘れ込みを通じて既存の能力を損なう。 言語家族のトレーニングを組織することは言語間の干渉を減らすが、下流のタスクに必要な一般的な知識を忘れることを防ぐことはできない。 このことを多言語CPTにおけるパラメータドリフトにリンクし、ハード層凍結、ソフト正規化、ポストホックウェイト・リバージョン、モデルマージという5つの層を意識したパラメータアライメント戦略を提示する。 5つの言語ファミリーの32の訓練言語と保留言語にまたがるベンチマークに基づく2つの非正規化CPTベースラインに対するアライメント戦略を、4つの評価軸(パープレキシティ、読解、物理的推論、翻訳)で体系的に比較した。 パラメータアライメントは最小のコストで言語習得の忘れを著しく減らし、層凍結と正規化は理解を最も良く保存する。 これらの結果は、ファミリーエキスパートのCPTの獲得を先取りするフロンティアをマッピングし、それぞれの戦略を最適なタスクに合わせる実践的なデプロイメントガイドラインを提供する。

関連論文リスト

• A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM$Δ$ Integration into Upcycled MoE [61.0405668388095]
  そこで我々は,高密度モデルをMixture-of-Experts(MoE)アーキテクチャにアップサイクルし,異なる専門家を異なる言語に割り当てる手法を提案する。 実験では、同様のFLOPやパラメータ数を持つベースラインに対してさえ、メソッドの優位性を示す。
  論文  参考訳（メタデータ） (2026-05-18T08:59:08Z)
• Cross-Lingual Jailbreak Detection via Semantic Codebooks [0.0]
  大規模言語モデル(LLM)の安全性メカニズムは、主に英語中心であり、多言語展開における体系的な脆弱性を生み出している。 本研究では,言語に依存しないセマンティックな類似性によって,リトレーニングや言語固有の適応なしにこのような攻撃を軽減できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-04-28T14:43:40Z)
• Adaptive Constraint Propagation: Scaling Structured Inference for Large Language Models via Meta-Reinforcement Learning [6.908972852063454]
  MetaJuLSは、タスク固有のリトレーニングなしで、言語やタスクに適用可能な普遍的な制約伝達ポリシーを学習する。 10言語にわたるUniversal Dependenciesでは、MetaJuLSはタスク固有のトレーニングを何時間も必要とせず、5～10の勾配ステップ(5～15秒)で新しい言語やタスクに適応する。 メカニスティック・アナリティクス(Mechanistic analysis)は、人間のような構文解析戦略(easy-first)と新しい非直観的手法を明らかにする。
  論文  参考訳（メタデータ） (2025-12-31T20:03:49Z)
• Language steering in latent space to mitigate unintended code-switching [1.1330938617817454]
  大きな言語モデル(LLM)は意図しないコードスイッチングを示し、下流タスクの信頼性を低下させる。 並列翻訳におけるPCAによる言語方向を識別する軽量な推論時間法である潜在空間言語ステアリングを提案する。 提案手法は,計算オーバーヘッドの少ないセマンティクスを保ちながら,コードスイッチングを緩和する。
  論文  参考訳（メタデータ） (2025-10-11T19:49:38Z)
• MrGuard: A Multilingual Reasoning Guardrail for Universal LLM Safety [56.77103365251923]
  大規模言語モデル(LLM)は、ジェイルブレイクのような敵の攻撃を受けやすい。 この脆弱性は、多言語セーフティアライメントされたデータが制限される多言語設定で悪化する。 素早い分類のための多言語ガードレールを提案する。
  論文  参考訳（メタデータ） (2025-04-21T17:15:06Z)
• InstructionCP: A fast approach to transfer Large Language Models into target language [55.2480439325792]
  InsCPは命令タグをCPプロセスに統合し、新しい言語を習得する際の会話能力の喪失を防ぐ。 実験の結果,InsCPは人間のフィードバック能力から会話と強化学習を維持していることがわかった。 このアプローチでは、高品質な命令追従データを0.1億トークンしか必要とせず、それによってリソース消費が減少する。
  論文  参考訳（メタデータ） (2024-05-30T15:45:13Z)
• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• Measuring Catastrophic Forgetting in Cross-Lingual Transfer Paradigms: Exploring Tuning Strategies [4.118037156777793]
  言語間移動は、少ないリソースの言語でタスクを解くための有望なテクニックである。 大規模言語モデルに対する2つの微調整アプローチとゼロショットおよびフルショット学習アプローチを比較した。
  論文  参考訳（メタデータ） (2023-09-12T09:37:08Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。