論文の概要: Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling

• arxiv url: http://arxiv.org/abs/2604.25578v1
• Date: Tue, 28 Apr 2026 12:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.859877
• Title: Marco-MoE: Open Multilingual Mixture-of-Expert Language Models with Efficient Upcycling
• Title（参考訳）: Marco-MoE: 効率的なアップサイクリングを伴うオープンな多言語混合言語モデル
• Authors: Fan Jiang, Yu Zhao, Chenyang Lyu, Tianqi Shi, Yichao Du, Feihu Jiang, Longyue Wang, Weihua Luo,
• Abstract要約: Marco-MoEはMixture-of-Experts (MoE) モデルである。 われわれのモデルは、英語と多言語ベンチマークで同様の大きさのライバルを上回っている。
• 参考スコア（独自算出の注目度）: 45.50874380445159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Marco-MoE, a suite of fully open multilingual sparse Mixture-of-Experts (MoE) models. Marco-MoE features a highly sparse design in which only around 5\% of the total parameters are activated per input token. This extreme sparsity, combined with upcycling from dense models, enables efficient pre-training on 5T tokens. Our models surpass similarly-sized competitors on English and multilingual benchmarks, achieving a best-in-class performance-to-compute ratio. We further post-train these models to create Marco-MoE-\textsc{Instruct} variants, which surpass the performance of competing models possessing $3$--$14\times$ more activated parameters. Our analysis reveals that Marco-MoE learns structured expert activation patterns shared across related languages, while maintaining highly specialized utilization for linguistically isolated ones. We further show that Marco-MoE allows for scalable language expansion without the interference typical of dense models. To support the community, we disclose our full training datasets, recipes, and model weights.
• Abstract（参考訳）: 完全オープンなマルチ言語スパース・ミックス・オブ・エクササイズ(Mixture-of-Experts, MOE)モデルであるMarco-MoEを提案する。 Marco-MoEは、入力トークンあたりの総パラメータの約5倍しか活性化されない、スパースな設計を特徴としている。 この極端な間隔と高密度モデルからのアップサイクルを組み合わせることで、5Tトークンの効率的な事前トレーニングが可能になる。 我々のモデルは、英語と多言語ベンチマークで同様の大きさの競合に勝り、最高のパフォーマンスと計算率を達成した。 さらにこれらのモデルをポストトレーニングしてMarco-MoE-\textsc{Instruct} 変種を作成する。 分析の結果,Marco-MoEは言語的に孤立した言語に対して高度に専門的な利用を維持しつつ,関連言語間で共有される専門家アクティベーションパターンの構造化を学習していることがわかった。 さらに、Marco-MoEは、高密度モデルの典型的な干渉を伴わずに、スケーラブルな言語拡張を可能にすることを示す。 コミュニティをサポートするために、トレーニングデータセット、レシピ、モデルウェイトをすべて公開しています。

関連論文リスト

• mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
  mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。 データに1700以上の低リソース言語を追加しています。 分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
  論文  参考訳（メタデータ） (2025-09-08T17:08:42Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• OLMoE: Open Mixture-of-Experts Language Models [180.19698806071867]
  OLMoEは、Sparse Mixture-of-Experts (MoE)を利用した、完全にオープンで最先端の言語モデルである。 OLMoE-1B-7Bは70億(B)のパラメータを持つが、入力トークンごとに1Bしか使用しない。 5兆のトークンで事前トレーニングし、さらにOLMoE-1B-7B-インストラクトを作成するように適応します。
  論文  参考訳（メタデータ） (2024-09-03T17:08:20Z)
• LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre-training [21.359073227913303]
  大規模な環境でのMoEのスクラッチからのトレーニングは、依然としてデータ不足と不安定な問題に悩まされている。 この制限により、既存の高密度大言語モデルからMoEモデルを構築することを検討する。 我々のLLaMA-MoEモデルは、同様のアクティベーションパラメータを含む高密度モデルよりも著しく優れている。
  論文  参考訳（メタデータ） (2024-06-24T11:43:07Z)
• CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
  英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。 我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。 英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
  論文  参考訳（メタデータ） (2024-02-01T17:17:55Z)
• Memory Augmented Language Models through Mixture of Word Experts [5.0215187938544315]
  学習能力とFLOPをMixture-of-Experts(MoE)スタイルのモデルで積極的に分離し、知識豊富な語彙ベースのルーティング機能とエキスパートを目指しています。 我々は、様々なNLPタスクにおいて、同様のFLOP数を持つモデルのT5ファミリよりも、MoWEの方がはるかに優れた性能を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-15T18:19:56Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。