論文の概要: Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

• arxiv url: http://arxiv.org/abs/2605.24681v1
• Date: Sat, 23 May 2026 17:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.310857
• Title: Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs
• Title（参考訳）: Mix-MoE: 混合MoEによる大規模言語モデルの多言語機械翻訳の改善
• Authors: Bo Li, Tianyu Dong, Shaolin Zhu, Deyi Xiong,
• Abstract要約: 大規模言語モデル(LLM)は多言語機械翻訳(MT)において大きな可能性を秘めている。 多言語MTのためのLLMの学習を目的としたMixture-of-ExpertsフレームワークであるMix-MoEを提案する。 本フレームワークは,(1)単言語コーパス上でのMoEによる後プレトレーニング,(2)並列コーパス上でのMoEによる後プレトレーニングの2つの異なる段階で動作する。
• 参考スコア（独自算出の注目度）: 58.06302309139978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown great promise in multilingual machine translation (MT), even with limited bilingual supervision. However, fine-tuning LLMs with parallel corpora presents major challenges, namely parameter interference. To address these issues, we propose Mix-MoE, a mixed Mixture-of-Experts framework designed to train LLMs for multilingual MT. Our framework operates in two distinct stages: (1) post-pretraining with MoE on monolingual corpora, and (2) post-pretraining with MoE on parallel corpora. Crucially, we divide the MoE layers into two specialized groups: Language Model Experts (LM Experts) and Machine Translation Experts (MT Experts). LM Experts are designed to capture and retain the monolingual knowledge learned by the pre-trained LLM. MT Experts, on the other hand, are specifically trained to acquire and store bilingual translation knowledge. Furthermore, to facilitate effective interaction between these specialized experts and leverage potential underlying structural patterns in text, we introduce a routing mechanism enhanced by Fourier Transform features derived from model representations. The experimental results demonstrate that Mix-MoE excels in multilingual MT, significantly outperforming existing baselines and showing notable progress in mitigating parameter interference.
• Abstract（参考訳）: 大規模言語モデル (LLM) は,多言語機械翻訳 (MT) において,バイリンガルの監督が限定されているにもかかわらず大きな可能性を秘めている。 しかし、並列コーパスを用いた微調整LDMは、パラメータ干渉という大きな課題を呈している。 これらの問題に対処するために,Mix-MoEを提案する。Mix-of-Expertsフレームワークは多言語MTのためのLLMの学習を目的としたフレームワークである。本フレームワークは,(1)単言語コーパス上でのMoEによる後トレーニング,(2)並列コーパス上でのMoEによる後トレーニングの2つの異なる段階で動作する。 重要なのは、MoE層を言語モデルエキスパート(LM Experts)と機械翻訳エキスパート(MT Experts)の2つの専門グループに分けます。 LM Expertsは、事前訓練されたLLMが学んだモノリンガル知識を捕捉し、保持するように設計されている。 一方、MT専門家は、バイリンガル翻訳知識の取得と保存を特別に訓練されている。 さらに,これらの専門家間の効果的な相互作用を促進し,テキスト中の潜在的構造パターンを活用するために,モデル表現から派生したフーリエ変換機能によって強化されたルーティング機構を導入する。 実験の結果,Mix-MoEは多言語MTより優れ,既存のベースラインを著しく上回り,パラメータ干渉の緩和に顕著な進展を示した。

関連論文リスト

• MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting [69.6938830307759]
  MiLorE-SSLは、LoRAモジュールとソフトミキシング・オブ・エキスパート・メカニズムを組み合わせて、効率的な連続多言語トレーニングを行う軽量フレームワークである。 LoRAは効率的な低ランク適応を提供するが、ソフトなMoEは言語間のフレキシブルな専門家共有を促進し、言語間の干渉を減らす。 ML-SUPERBの実験では、MiLorE-SSLは新しい言語で高いパフォーマンスを実現し、2.14%のトレーニング可能なパラメータで既存の言語での性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2026-01-28T06:48:52Z)
• Multilingual Routing in Mixture-of-Experts [45.90403983668531]
  並列多言語データセットを用いて、専門家のルーティングパターンを分析する。 MoEモデルは、初期および後期のデコーダ層において、言語固有の方法でトークンをルーティングする。 本稿では,英語で頻繁に活性化される中層タスクエキスパートの促進により,ルータを操る手法を提案する。
  論文  参考訳（メタデータ） (2025-10-06T11:09:20Z)
• MultiPL-MoE: Multi-Programming-Lingual Extension of Large Language Models through Hybrid Mixture-of-Experts [56.106778414865126]
  MultiPL-MoEはエキスパートとトークンレベルのエキスパートのハイブリッドである。 セグメントレベルのMoEは、プログラミング言語の構文構造と文脈パターンをよりよく捉えるために、2つの革新的な設計を取り入れている。
  論文  参考訳（メタデータ） (2025-08-22T06:24:52Z)
• MoME: Mixture of Multimodal Experts for Generalist Multimodal Large Language Models [57.091523832149655]
  本稿では,タスク干渉を緩和し,汎用MLLMを得るためのマルチモーダルエキスパート(MoME)の混合を提案する。 私たちのMoMEは、視覚専門家の混合(MoVE)と言語専門家の混合(MoLE)の2つの重要なコンポーネントで構成されています。
  論文  参考訳（メタデータ） (2024-07-17T16:31:38Z)
• Multi-Head Mixture-of-Experts [100.60556163597946]
  MH-MoE(Multi-Head Mixture-of-Experts)を提案する。 MH-MoEは、他のSMoE最適化手法の実装と分離が容易であり、性能向上のために他のSMoEモデルとの統合が容易である。
  論文  参考訳（メタデータ） (2024-04-23T13:47:09Z)
• On-the-Fly Fusion of Large Language Models and Machine Translation [3.718665608549311]
  我々は,同じタスクと入力に対して,LLMを用いた機械翻訳モデルのオンザフライアンサンブルを提案する。 LLMはNMTモデルの翻訳を改善することができ、LLMとのアンサンブルは2つのより強いMTモデルをアンサンブルするよりも優れた翻訳を生成することができる。
  論文  参考訳（メタデータ） (2023-11-14T16:49:33Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。