論文の概要: Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation

• arxiv url: http://arxiv.org/abs/2605.29714v1
• Date: Thu, 28 May 2026 10:12:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.175057
• Title: Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation
• Title（参考訳）: 言語適応性向上のためのMixture-of-Expertsモデルにおけるルーティングダイナミクスの活用
• Authors: Aditi Khandelwal, Marius Mosbach, Verna Dankers, Siva Reddy, Golnoosh Farnadi,
• Abstract要約: 多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討する。 連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらす。 最終MoE層における言語固有の専門家と共有専門家を更新するパラメータ効率適応戦略を提案する。
• 参考スコア（独自算出の注目度）: 50.731838216268706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models are widely used to scale language models, yet their expert routing behavior and adaptation in a multilingual setting remain underexplored. In this work, we study multilingual routing dynamics during continual pre-training of an English-centric MoE model on a multilingual corpus, analyzing how expert usage varies across languages. We find that continual multilingual pre-training leads to diffused, language-agnostic routing in early and middle layers, with language specialization primarily emerging in the final layers. We also show that token-level vocabulary overlap between languages plays an important role in how languages are routed. Motivated by these findings, we propose a parameter-efficient adaptation strategy that updates language-specific and shared experts in the final MoE layers. Experiments on MultiBLiMP and Belebele show that our method achieves a strong performance-efficiency trade-off, attaining competitive performance relative to fine-tuning complete final layers, while updating less than 2% of the parameters. Overall, our findings provide insights into where and how language specialization emerges in MoEs during continual pre-training and provide practical insights for low-resource multilingual adaptation. Our code is available at https://github.com/aditi184/moe-routing-adaptation.
• Abstract（参考訳）: Mixture-of-Experts (MoE) モデルは言語モデルをスケールするために広く使われているが、その専門的なルーティングの振る舞いと多言語環境での適応は未解明のままである。 本研究では、多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討し、専門家の使用状況が言語によってどのように異なるかを分析する。 連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらし、言語特化は主に最終層に現れる。 また、言語間のトークンレベルの語彙重複が、言語をどのようにルーティングするかにおいて重要な役割を担っていることも示している。 これらの知見により,最終MoE層における言語固有および共有専門家を更新するパラメータ効率適応戦略を提案する。 MultiBLiMPとBelebeleの実験では,パラメータの2%未満を更新しながら,細調整された最終層の競合性能を達成し,高い性能と効率のトレードオフを実現する。 全体として,本研究の成果は,MoEsにおける言語専門化の継続事前学習における在り方に関する知見と,低リソース多言語適応のための実践的洞察を提供するものである。 私たちのコードはhttps://github.com/aditi184/moe-routing-adaptationで利用可能です。

関連論文リスト

• Positional Cognitive Specialization: Where Do LLMs Learn To Comprehend and Speak Your Language? [7.398212299621878]
  言語モデルの異なる領域において、知覚的および生産的特殊化がどのように現れるかを示す。 我々はCogSymを提案する。CogSymは、初期層と後期層のみを微調整することで、効果的な適応を可能にするレイヤワイド特殊化である。
  論文  参考訳（メタデータ） (2026-04-01T14:03:51Z)
• Understanding Multilingualism in Mixture-of-Experts LLMs: Routing Mechanism, Expert Specialization, and Layerwise Steering [61.0787902713059]
  本研究では,中間層におけるルーティング動作を,支配言語に関連する共有専門家に適応的に誘導するルーティング誘導型ステアリング手法を提案する。 私たちのコードはhttp://conctsai.com/multilingualism-in-Mixture-of-Experts-LLMsで利用可能です。
  論文  参考訳（メタデータ） (2026-01-20T15:04:25Z)
• Multilingual Routing in Mixture-of-Experts [45.90403983668531]
  並列多言語データセットを用いて、専門家のルーティングパターンを分析する。 MoEモデルは、初期および後期のデコーダ層において、言語固有の方法でトークンをルーティングする。 本稿では,英語で頻繁に活性化される中層タスクエキスパートの促進により,ルータを操る手法を提案する。
  論文  参考訳（メタデータ） (2025-10-06T11:09:20Z)
• MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing [78.62611800987817]
  大規模言語モデル(LLM)は、事前学習データに言語が不均等に分布するため、しばしば英語中心である。 そこで本稿では,MoE-LPR (Mixture-of-Experts with Language Priors) と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T07:43:49Z)
• LlamaTurk: Adapting Open-Source Generative Large Language Models for Low-Resource Language [2.9914612342004503]
  本研究は、主に英語で訓練された大規模な言語モデルを低リソース言語に適応させることにより、代替的な解決策を探求する。 継続訓練,命令細調整,タスク特化細調整,語彙拡張など,さまざまな戦略を評価する。 その結果、継続学習は、難易度スコアに反映されるような言語理解を向上し、タスク固有のチューニングは、一般的に下流タスクのパフォーマンスを向上することを示した。
  論文  参考訳（メタデータ） (2024-05-13T13:41:59Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。