論文の概要: Lara Mini Base: Language Diversity as a Resource, Not a Trade-off
- arxiv url: http://arxiv.org/abs/2611.16956v1
- Date: Thu, 12 Nov 2026 15:28:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.505043
- Title: Lara Mini Base: Language Diversity as a Resource, Not a Trade-off
- Title(参考訳): Lara Mini Base: リソースとしての言語多様性はトレードオフではない
- Abstract要約: ララ・ミニ・ベース(Lara Mini base)は、英語および44の他の言語で6Tトークンをスクラッチからトレーニングしたモデルである。
標準英語、多言語、数学、コードベンチマークの平均スコアが最も高い。
私たちのMoEアーキテクチャは、言語間の容量競合を減らします。
- 参考スコア(独自算出の注目度): 93.81266458948464
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: General-purpose language models are trained mostly on English: over open models we review, at most, non-English pretraining data makes up only a 12% share. Models built for European languages give them far more, but score well below general-purpose models of the same size. A common concern is that, in small models, languages compete for capacity. We present Lara Mini base, a model trained from scratch on 6T tokens in English and 44 other languages, which together cover all 24 official languages of the European Union. As training progresses, the 44 other languages together come to outweigh English. To give these languages enough capacity at low cost, Lara Mini base uses a mixture of experts architecture with 7.2B total and 0.6B active parameters. Among open base models with up to 2B active parameters, it achieves the highest average score across standard English, multilingual, math, and code benchmarks, ahead of models trained on 4 to 6 times as many tokens. Its margin is largest on multilingual benchmarks in the languages it supports and on math benchmarks. It supports contexts of up to 128k tokens. We find that our MoE architecture reduces capacity competition between languages. For a single user on one GPU, without quantization, it generates text at least 1.8 times faster than any model with a higher average score. We release the weights of Lara Mini base under the CC BY-NC-SA 4.0 license. In addition, we will release T-HellaSwag, a higher-quality machine translation of the commonsense reasoning benchmark HellaSwag into 110 language variants.
- Abstract(参考訳): 汎用言語モデルは、主に英語に基づいてトレーニングされています。
ヨーロッパの言語向けに作られたモデルは、はるかに多くのものを提供しますが、同じサイズの汎用モデルよりもはるかに低いスコアを得ます。
一般的な懸念は、小さなモデルでは、言語がキャパシティを競うことである。
私たちはLara Miniベースを紹介します。これは、英語と44の他の言語で6Tトークンをゼロからトレーニングしたモデルです。
訓練が進むにつれて、他の44の言語が英語を上回るようになる。
これらの言語に十分なキャパシティを低コストで提供するため、Lara Miniベースでは7.2Bの合計と0.6Bのアクティブパラメータを持つ専門家アーキテクチャが混在している。
最大2Bのアクティブパラメータを持つオープンベースモデルの中で、標準的な英語、多言語、数学、コードベンチマークの平均スコアは、トークンの4倍から6倍のトレーニングを受けたモデルよりも高い。
マージンは、サポートする言語における多言語ベンチマークと、数学ベンチマークで最大である。
最大128万トークンのコンテキストをサポートする。
私たちのMoEアーキテクチャは、言語間の容量競合を減らします。
1つのGPU上の単一のユーザに対して、量子化なしで、平均スコアの高いモデルよりも少なくとも1.8倍高速なテキストを生成する。
CC BY-NC-SA 4.0ライセンスの下で、Lara Miniの重みを解放する。
さらに、我々は、コモンセンス推論ベンチマークであるHellaSwagを110の言語変種に変換する、高品質な機械翻訳であるT-HellaSwagをリリースする。
関連論文リスト
- The Curse of Multilinguality in Lexical Normalization [0.0]
一般的なショートカットは、一度に複数の言語で単一のモデルをトレーニングすることである。
そのようなモデルをトレーニングすべき言語はいくつあるのか?
言語が他でのみトレーニングされている場合、正確性が最も高いのです。
論文 参考訳(メタデータ) (2026-08-27T22:48:02Z) - Baichuan 2: Open Large-scale Language Models [51.34140526283222]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。
Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳(メタデータ) (2023-09-19T04:13:22Z) - Memory-efficient NLLB-200: Language-specific Expert Pruning of a
Massively Multilingual Machine Translation Model [92.91310997807936]
NLLB-200は202言語をカバーする多言語ニューラルネットワークモデルである。
そこで本研究では,最大80%のエキスパートの除去を,それ以上の微調整を行なわずに行うことができるプルーニング法を提案する。
論文 参考訳(メタデータ) (2022-12-19T19:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。