論文の概要: Pearl-Chat: Engineering a native Luganda language model from first principles in JAX and Flax NNX

• arxiv url: http://arxiv.org/abs/2610.22529v1
• Date: Thu, 15 Oct 2026 18:22:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.623146
• Title: Pearl-Chat: Engineering a native Luganda language model from first principles in JAX and Flax NNX
• Title（参考訳）: Pearl-Chat: JAX と Flax NNX の最初の原則からネイティブな Luganda 言語モデルを構築する
• Abstract要約: 我々は、低リソースのNiger-Congo Bantu言語であるLuganda (Oluganda, ISO 639-2: lg)のために設計された因果デコーダのみの変換器であるPearl-Chatを紹介する。 キュレートした Luganda corpora 上で,スクラッチからトレーニングしたサブワードトークンをバイト単位のバイトペアで符号化する手法を提案する。 Pearl-Chat は LLaMA-3 (128K) と Gemma (256K) の2倍の圧縮改善により、トークン圧縮当たり4.88文字、ワード肥大度当たり 1.60 トークンを実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive foundation language models predominantly target high-resource Indo-European languages, imposing computational and morphological penalties on under-represented African languages. Generic multilingual tokenizers routinely exceed fertility rates of 3.2 tokens per word on agglutinative Bantu languages, degrading context efficiency and inflating latency. We present Pearl-Chat, an 8,473,122-parameter ($\sim$8.5M) causal decoder-only transformer engineered for Luganda (Oluganda, ISO 639-2: lg), a low-resource Niger-Congo Bantu language spoken by over 10 million people in East Africa. Built from first mathematical principles in JAX and Flax NNX, Pearl-Chat uses explicit functional state decomposition (nnx.split and nnx.merge), deterministic resumable data streaming via Google Grain, and SPMD tensor parallelism using jax.sharding.Mesh. We introduce a byte-level byte-pair encoding (BPE) subword tokenizer trained from scratch on curated Luganda corpora ($V = 8,192$), achieving 4.88 characters per token compression and 1.60 tokens per word fertility, a two-fold compression improvement over LLaMA-3 (128K) and Gemma (256K). The model is trained with a two-stage curriculum: Stage 1 pre-training on 59,501 sequences across parallel, biblical, encyclopedic, and journalistic corpora, and Stage 2 instruction fine-tuning on 510 dialogues with assistant-only loss masking. Across 4,000 optimization steps, validation cross-entropy loss drops monotonically from 9.4695 (perplexity: 12,958.98) to 0.1818 (perplexity: 1.20), a decrease of 9.2877 nats. On a three-tier held-out diagnostic benchmark, Pearl-Chat achieves 0.9792 ROUGE-L and 0.9405 BLEU while maintaining concordial agreement across Bantu noun classes. We provide a Python Server-Sent Events (SSE) streaming runtime and open-source all weights, tokenizers, and code.
• Abstract（参考訳）: 自己回帰基盤言語モデルは、主に高資源のインド・ヨーロッパ言語をターゲットにしており、非表現のアフリカ言語に計算的および形態的罰則を課している。 汎用多言語トークンライザは、通常、凝集性バントゥー言語で1語当たり3.2トークンの出生率を超え、文脈効率を低下させ、遅延を膨らませる。 我々は、ルガンダ(ISO 639-2: lg)のために設計された8,473,122パラメートル (\sim$8.5M) の因果デコーダのみのトランスフォーマーであるPearl-Chatを紹介した。 JAXとFrax NNXの最初の数学的原理から構築されたPearl-Chatは、明示的な機能的状態分解(nnx.splitとnnx.merge)、Google Grainによる決定論的再使用可能なデータストリーミング、jax.sharding.Meshを使ったSPMDテンソル並列性を使用する。 本稿では,Luganda corpora(V = 8,192$)をスクラッチからトレーニングしたバイトレベルのバイトペア符号化(BPE)を導入し,LLaMA-3 (128K) とGemma (256K) を2倍圧縮した。 このモデルは2段階のカリキュラムで訓練されている:ステージ1は59,501のシーケンスを、並列、聖書、百科事典、ジャーナリストのコーパスで事前訓練し、ステージ2はアシスタントのみの損失マスキングと510の対話で微調整する。 4000以上の最適化ステップで、検証エントロピー損失は9.4695(複雑度: 12,958.98)から0.1818(複雑度: 1.20)に単調に減少し、9.2877ナットが減少する。 3段階のホールトアウト診断ベンチマークでは、Pearl-Chatは0.9792 ROUGE-Lと0.9405 BLEUを達成した。 当社は、Python Server-Sent Events(SSE)ストリーミングランタイムを提供し、すべての重み、トークン、コードをオープンソースにしています。

関連論文リスト

• The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs [0.0]
  トークンライザは、他の言語よりも多くのサブワードトークンを割り当てるため、高いトークンフェタリティを持つ言語の話者は、モデルが呼び出される前に構造的なペナルティを支払う。 このペナルティは、一般に多言語設定のために文書化されているが、アフリカ語では体系的に測定されていない。 5つの言語ファミリーと3つのスクリプトにまたがる20のアフリカの言語で測定します。
  論文  参考訳（メタデータ） (2026-06-23T11:47:03Z)
• Separate Before You Compress: The WWHO Tokenization Architecture [0.0]
  現在のLarge Language Models (LLM) は、主にBPE(Byte Pair Linguist)ベースのトークンライザを使用している。 WWHO(Where-What-How)とSGPE(Syllable Grapheme Pair Linguist)というアルゴリズムを提案する。 Sinhala と Devanagari (Hindi/Sanskrit) を非常に複雑な Abugida スクリプトとして使用し、クリーン化された30万文データセットで WWHO をトレーニングし、1,499,950文のテストセットで評価した。
  論文  参考訳（メタデータ） (2026-03-26T10:56:48Z)
• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation [0.533024001730262]
  PolyFrameは、画像+テキストランキング(Subtask A)とテキストのみのキャプションランキング(Subtask B)の両方のための統合パイプラインである。 全てのモデルでは、凍ったCLIPスタイルの視覚言語エンコーダと、軽量モジュールのみを訓練する多言語BGE M3エンコーダが保持されている。 マルチリンガルブラインドテストでは,Subtask Aは0.35/0.73,Subtask Bは0.32/0.71であった。
  論文  参考訳（メタデータ） (2026-02-20T23:07:55Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Unsupervised Transfer Learning in Multilingual Neural Machine Translation with Cross-Lingual Word Embeddings [72.69253034282035]
  我々は、言語独立多言語文表現を活用し、新しい言語に容易に一般化する。 複数のロマンス言語を含むベースシステムを用いてポルトガル語から盲目的に復号し、ポルトガル語では36.4 BLEU、ロシア語では12.8 BLEUのスコアを得た。 非反復的逆翻訳によるより実用的な適応アプローチを探求し、高品質の翻訳を生産するモデルの能力を活用します。
  論文  参考訳（メタデータ） (2021-03-11T14:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。