論文の概要: Scaling Multilingual Mixture-of-Experts: How Language Coverage Changes Capacity and Compute Allocation

• arxiv url: http://arxiv.org/abs/2610.20247v3
• Date: Wed, 21 Oct 2026 08:54:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:05.953209
• Title: Scaling Multilingual Mixture-of-Experts: How Language Coverage Changes Capacity and Compute Allocation
• Title（参考訳）: マルチリンガル・ミックス・オブ・エクスプロイトのスケーリング: 言語被覆の容量変化とコンピュータ・アロケーション
• Abstract要約: 本稿では,アクティブパラメータ数,言語ごとのトレーニングトークン数,専門家数,言語カバレッジに関する反復対応共同スケーリング法を提案する。 言語毎のアクティブパラメータとトレーニングトークンの数に一致すると、32人の専門家は、密度の高いモデルと比較して、12から200言語に拡大する損失ペナルティを83%削減する。
• 参考スコア（独自算出の注目度）: 5.6336247099791805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual models share capacity across languages, so adding languages can hurt performance on existing ones. Mixture-of-experts models expand this capacity with little additional per-token computation. Given this extra capacity, does adding experts reduce what each additional language costs? To answer this question, we propose a repetition-aware joint scaling law relating number of active parameters, training tokens per language, number of experts, and language coverage. Fitted on 26,300 per-language loss observations from 64 pretrained configurations, our law reduces prediction error on held-out configurations by 28% relative to the strongest evaluated baseline. At matched number of active parameters and training tokens per language, 32 experts reduce the loss penalty of expanding from 12 to 200 languages by 83% compared with a dense model. Our law further shows that broader language coverage favors more experts across a wider range of compute budgets, guiding capacity allocation as multilingual models scale.
• Abstract（参考訳）: 多言語モデルは言語間で能力を共有するため、言語の追加は既存の言語のパフォーマンスを損なう可能性がある。 Mixture-of-expertsモデルは、この容量をトーケン毎の計算量で拡張する。 この余分な能力を考えれば、専門家を追加することで、各追加の言語コストを削減できるのだろうか? そこで本研究では,アクティブパラメータ数,言語ごとのトレーニングトークン数,専門家数,言語カバレッジに関する反復対応共同スケーリング法を提案する。 この法則は,64の事前訓練済み構成から26,300個の言語毎の損失観測に基づいて,最強評価基準に対して,保留構成の予測誤差を28%削減する。 言語毎のアクティブパラメータとトレーニングトークンの数に一致すると、32人の専門家は、密度の高いモデルと比較して、12から200言語に拡大する損失ペナルティを83%削減する。 我々の法則はさらに、多言語モデルのスケールとしてキャパシティアロケーションを導くことによって、幅広い計算予算のエキスパートがより幅広い言語カバレッジを好んでいることを示しています。

関連論文リスト

• Extending Item Response Theory for Efficient and Meaningful Multilingual Evaluation [19.965981631741894]
  マルチ言語ベンチマークは、言語全体にわたる大規模言語モデル(LLM)の評価の中心である。 徹底的な評価は言語数とともに線形にスケールし、自動翻訳はスケールで見落とされるエラーを導入し、いくつかの項目は一般的な知識と文化固有の知識を詳述する。 我々はこれら3つを統一的な統計フレームワークであるMultilingual-IRTで解決し、言語ごとの難易度差による項目応答理論を拡張した。
  論文  参考訳（メタデータ） (2026-06-14T07:16:03Z)
• ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset [16.940142252787144]
  13言語にわたる多言語データキュレーションについて検討する。 制御されたバイリンガル実験では、単一の言語でのデータ品質が向上する。 我々は,20T-tokenプレトレーニングコーパスを作成した作業において,このアプローチを運用する。
  論文  参考訳（メタデータ） (2026-02-16T21:40:03Z)
• Towards Typologically Aware Rescoring to Mitigate Unfaithfulness in Lower-Resource Languages [9.426642998924724]
  多言語大言語モデルは、資源制約言語で非忠実な出力を生成する。 このような設定における不誠実さを軽減するため、我々は計算学的に軽量な補助モデルを用いて、より大きなアーキテクチャの出力を再評価する。 我々は,700MB未満のデータに対して,スクラッチから事前訓練した単言語4層BERTモデルにより,忠実な要約を88.33%の平均精度で識別可能であることを示した。
  論文  参考訳（メタデータ） (2025-02-24T21:22:19Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Memory-efficient NLLB-200: Language-specific Expert Pruning of a Massively Multilingual Machine Translation Model [92.91310997807936]
  NLLB-200は202言語をカバーする多言語ニューラルネットワークモデルである。 そこで本研究では,最大80%のエキスパートの除去を,それ以上の微調整を行なわずに行うことができるプルーニング法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T19:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。