論文の概要: SARA: Unlocking Multilingual Knowledge in Mixture-of-Experts via Semantically Anchored Routing Alignment

• arxiv url: http://arxiv.org/abs/2606.25821v1
• Date: Wed, 24 Jun 2026 13:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.350801
• Title: SARA: Unlocking Multilingual Knowledge in Mixture-of-Experts via Semantically Anchored Routing Alignment
• Title（参考訳）: SARA: セマンティックアンカレートなルーティングアライメントによるMixture-of-Expertsにおける多言語知識のアンロック
• Abstract要約: 本研究では,SARA(Semantically Anchored Routing Alignment)を提案する。 5つの低リソース言語と3つのベンチマークにまたがる2つのLLMの実験を行った。
• 参考スコア（独自算出の注目度）: 74.27200765510635
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sparse Mixture-of-Experts (MoE) architectures have emerged as an increasingly influential paradigm as they offer a strategic balance between parameter scalability and computational efficiency. However, low-resource languages, which suffer from a scarcity of high-quality training data, often have their tokens routed to different experts than those predominantly activated by high-resource inputs, which limits cross-lingual expert sharing. This cross-lingual routing divergence consequently hinders their efficacy in multilingual contexts. To address this issue, we propose SARA (Semantically Anchored Routing Alignment), a framework designed to transfer specialized capabilities from high-resource languages as anchors to low-resource languages. SARA explicitly aligns the routing distribution of multilingual inputs with high-resource semantic anchors using a symmetric Jensen-Shannon (JS) divergence constraint. Unlike traditional distillation methods that operate on output logits, SARA directly aligns the internal routing distributions of MoE layers, encouraging mechanistic consistency in expert selection across languages. We conduct experiments on 2 LLMs across 5 low-resource languages and 3 benchmarks. Experiment results demonstrate that SARA outperforms standard instruction tuning, e.g., +0.8% on Qwen3-30B-A3B and +1.2% on Phi-3.5-MoE-instruct on Global-MMLU. Further analyses show that SARA effectively addresses performance bottlenecks in low-resource languages, providing a scalable pathway to enhance multilingual capabilities in sparse architectures.
• Abstract（参考訳）: Sparse Mixture-of-Experts (MoE) アーキテクチャは、パラメータのスケーラビリティと計算効率の戦略的バランスを提供するため、ますます影響力を増すパラダイムとなっている。 しかし、高品質なトレーニングデータの不足に苦しむ低リソース言語は、多言語の専門家の共有を制限する高リソース入力によって主に活性化されるものとは異なる専門家にトークンをルーティングすることが多い。 この言語間ルーティングの分岐は、多言語コンテキストにおけるそれらの有効性を妨げている。 この問題に対処するため,SARA(Semantically Anchored Routing Alignment)を提案する。 SARAは、対称的なジェンセン・シャノン(JS)分散制約を用いて、多言語入力のルーティング分布を高リソースなセマンティックアンカーで明示的に整列する。 出力ロジットで操作する伝統的な蒸留法とは異なり、SARAはMoE層の内部ルーティング分布を直接調整し、言語間の専門家の選択において機械的一貫性を促進する。 5つの低リソース言語と3つのベンチマークにまたがる2つのLLMの実験を行った。 実験の結果、SARAはQwen3-30B-A3Bで、+1.2%、Global-MMLUでPhi-3.5-MoE-インストラクションで、標準的な命令チューニング、例えばg、+0.8%より優れていた。 さらに分析したところ、SARAは低リソース言語のパフォーマンスボトルネックを効果的に解決し、スパースアーキテクチャにおける多言語機能を強化するスケーラブルな経路を提供する。

関連論文リスト

• Cross-lingual Representation Learning via Centroid Intervention Fusion [30.50994950370956]
  Centroid Intervention Fusion (CIF) は、複数の多言語介入プロジェクションを単一の言語共有演算子に統合するプロジェクション融合フレームワークである。 CIFは、4つのモデルバックボーンで平均で+3.378ppという最強の相互介入ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-08-26T19:39:57Z)
• Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation [50.731838216268706]
  多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討する。 連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらす。 最終MoE層における言語固有の専門家と共有専門家を更新するパラメータ効率適応戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-28T10:12:41Z)
• Unveiling Language Routing Isolation in Multilingual MoE Models for Interpretable Subnetwork Adaptation [65.69228479949693]
  Mixture-of-Experts (MoE)モデルは、言語間での大幅なパフォーマンス格差を示す。 我々は、ルーティングアイソレーションを利用して言語固有のエキスパートワークを特定し、適応するフレームワークRISE(Routing isolation-guided Subnetwork Enhancement)を提案する。
  論文  参考訳（メタデータ） (2026-04-04T04:56:35Z)
• Understanding Multilingualism in Mixture-of-Experts LLMs: Routing Mechanism, Expert Specialization, and Layerwise Steering [61.0787902713059]
  本研究では,中間層におけるルーティング動作を,支配言語に関連する共有専門家に適応的に誘導するルーティング誘導型ステアリング手法を提案する。 私たちのコードはhttp://conctsai.com/multilingualism-in-Mixture-of-Experts-LLMsで利用可能です。
  論文  参考訳（メタデータ） (2026-01-20T15:04:25Z)
• Multilingual Routing in Mixture-of-Experts [45.90403983668531]
  並列多言語データセットを用いて、専門家のルーティングパターンを分析する。 MoEモデルは、初期および後期のデコーダ層において、言語固有の方法でトークンをルーティングする。 本稿では,英語で頻繁に活性化される中層タスクエキスパートの促進により,ルータを操る手法を提案する。
  論文  参考訳（メタデータ） (2025-10-06T11:09:20Z)
• Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks [33.2185998586144]
  本研究は、アラビア語、英語、インド語にまたがる多言語および単言語大言語モデル(LLM)の性能をベンチマークする。 発見は言語的多様性と資源の可利用性によって引き起こされる顕著なパフォーマンスの違いを示している。 量子化(4ビットと8ビット)は、効率を向上しながらモデルの精度を維持するのに有効であるが、アグレッシブプルーニングは性能を著しく損なう。
  論文  参考訳（メタデータ） (2025-07-25T22:35:10Z)
• Efficient Multilingual ASR Finetuning via LoRA Language Experts [59.27778147311189]
  本稿では,WhisperをベースとしたLoRA言語エキスパートによる多言語ASRをカスタマイズするための効率的な微調整フレームワークを提案する。 LoRAエキスパート融合や知識蒸留により,本手法は従来の微調整法よりも目標言語での認識性能が向上する。 実験の結果,提案モデルでは,言語認識および言語認識のシナリオにおいて,約10%と15%の性能向上が得られた。
  論文  参考訳（メタデータ） (2025-06-11T07:06:27Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Master-ASR: Achieving Multilingual Scalability and Low-Resource Adaptation in ASR with Modular Learning [28.592569051244375]
  METHODNSは、強力な多言語スケーラビリティと低リソース適応性を同時に実現している。 我々のフレームワークは、最先端(SOTA)メソッドよりも30%少ない推論オーバーヘッドで、0.13$sim$2.41低い文字誤り率(CER)を達成する。
  論文  参考訳（メタデータ） (2023-06-23T16:23:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。