論文の概要: Raising Bars, Not Parameters: LilMoo Compact Language Model for Hindi
- arxiv url: http://arxiv.org/abs/2603.03508v1
- Date: Tue, 03 Mar 2026 20:31:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-05 21:29:15.08258
- Title: Raising Bars, Not Parameters: LilMoo Compact Language Model for Hindi
- Title（参考訳）: パラメータではなくバーをライジングする: ヒンディー語のためのLilMooコンパクト言語モデル
- Authors: Shiza Fatimah, Aniket Sen, Sophia Falk, Florian Mai, Lucie Flek, Nicholas Kluge Corrêa,
- Abstract要約: LilMooは0.6ビリオンパラメータヒンディー語モデルである。
完全に透明で再現可能なパイプラインによって開発され、限られた計算環境向けに最適化されている。
総合的な評価スイート全体にわたって、LilMooは、相容れない大きさの多言語ベースラインを一貫して上回っている。
- 参考スコア（独自算出の注目度）: 9.65814816271915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The dominance of large multilingual foundation models has widened linguistic inequalities in Natural Language Processing (NLP), often leaving low-resource languages underrepresented. This paper introduces LilMoo, a 0.6-billion-parameter Hindi language model trained entirely from scratch to address this gap. Unlike prior Hindi models that rely on continual pretraining from opaque multilingual foundations, LilMoo is developed through a fully transparent and reproducible pipeline optimized for limited compute environments. We construct a high-quality Hindi corpus (GigaLekh) filtered through both heuristic and learned (LLM-as-a-judge) methods, complemented by bilingual augmentation with curated English data. Using this dataset, we explore various training recipes for small-scale language models. Across comprehensive evaluation suites, LilMoo consistently outperforms comparably sized multilingual baselines such as Qwen2.5-0.5B and Qwen3-0.6B, demonstrating that well-designed language-specific pretraining can rival large multilingual models at the sub-billion-parameter range.
- Abstract（参考訳）: 大規模多言語基盤モデルの優位性は、自然言語処理(NLP)における言語不等式を大きくし、低リソース言語が不足していることが多い。
本稿では,0.6ビリオンパラメータヒンディー語モデルであるLilMooを紹介する。
不透明な多言語基盤からの継続事前学習に依存する従来のヒンディー語モデルとは異なり、LilMooは限られた計算環境向けに最適化された完全透明で再現可能なパイプラインによって開発されている。
我々は,英語データによるバイリンガル拡張を補完した,ヒューリスティックおよびラーニング(LLM-as-a-judge)手法により,高品質なヒンディー語コーパス(GigaLekh)を構築した。
このデータセットを用いて、小規模言語モデルのための様々なトレーニングレシピを探索する。
総合的な評価スイート全体にわたって、LilMooはQwen2.5-0.5BやQwen3-0.6Bのような比較可能な大きさの多言語ベースラインを一貫して上回り、よく設計された言語固有の事前訓練がサブビリオンパラメータ範囲で大きな多言語モデルと競合することを示した。
関連論文リスト
- XDoGE: Multilingual Data Reweighting to Enhance Language Inclusivity in LLMs [41.71907186207218]
現在の大規模言語モデル(LLM)は、主にいくつかの支配的な言語から大量のテキストデータに基づいて訓練されている。
ドメイン依存型DoGEアルゴリズムにおいて,小さなプロキシモデルをトレーニングすることにより,言語分布の最適化を提案する。
次に、データを再スケールし、確立された言語重み付けで、スクラッチから、または連続的な事前学習フェーズ内でフルサイズのモデルをトレーニングします。
論文 参考訳（メタデータ） (2025-12-11T11:22:53Z) - Paramanu: A Family of Novel Efficient Generative Foundation Language Models for Indian Languages [3.9018931027384056]
インド語のための新しい言語モデル(LM)のファミリーである「Paramanu」を提示する。
10の言語(アッサム語、バングラ語、ヒンディー語、コンカニ語、マイティシ語、マラティ語、オディア語、サンスクリット語、タミル語、テルグ語)を5文字でカバーしている。
モデルは、コンテキストサイズが1024の1つのGPUで事前トレーニングされており、サイズは13.29万(M)から367.5Mまで様々である。
論文 参考訳（メタデータ） (2024-01-31T17:58:10Z) - YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。
YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。
ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
論文 参考訳（メタデータ） (2023-12-22T17:34:47Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳（メタデータ） (2023-07-12T09:00:37Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - UniMax: Fairer and more Effective Language Sampling for Large-Scale
Multilingual Pretraining [92.3702056505905]
我々は,尾語への過剰適合を軽減しつつ,より均一なヘッド言語カバレッジを提供する新しいサンプリング手法UniMaxを提案する。
We found that UniMax are outperforming standard temperature-based sample, and the benefit persistent as scale increased。
論文 参考訳（メタデータ） (2023-04-18T17:45:50Z) - MiLMo:Minority Multilingual Pre-trained Language Model [1.6409017540235764]
本稿では、マイノリティ言語タスクにおいてより優れた性能を発揮する、MLMoという多言語事前学習モデルを構築した。
テキスト分類タスクにおいて,Word2vecモデルと事前学習モデルを比較することにより,少数言語の下流タスク研究に最適なスキームを提供する。
論文 参考訳（メタデータ） (2022-12-04T09:28:17Z) - Generalizing Multimodal Pre-training into Multilingual via Language
Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。
この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。
単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-29T08:53:22Z) - Probing Multilingual Language Models for Discourse [0.0]
XLM-RoBERTaファミリーのモデルが常に最高のパフォーマンスを示していることが分かりました。
また, モデル蒸留は, 文表現の言語間移動能力に悪影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-09T06:34:21Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳（メタデータ） (2020-10-27T13:12:17Z) - Parsing with Multilingual BERT, a Small Corpus, and a Small Treebank [46.626315158735615]
事前訓練された多言語文脈表現は大きな成功を収めてきたが、事前訓練されたデータの制限のため、すべての言語品種に等しく適用されない。
このことは、ラベル付き未ラベルデータがモノリンガルモデルを効果的に訓練するにはあまりに限られている、これらのモデルに馴染みのない言語多様体にとっての課題である。
本稿では,低リソース環境に多言語モデルを適用するために,言語固有の事前学習と語彙拡張の利用を提案する。
論文 参考訳（メタデータ） (2020-09-29T16:12:52Z) - Multilingual Translation with Extensible Multilingual Pretraining and
Finetuning [77.33262578776291]
これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。
多言語翻訳モデルは多言語微調整により作成可能であることを示す。
事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
論文 参考訳（メタデータ） (2020-08-02T05:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。