論文の概要: MzansiText and MzansiLM: An Open Corpus and Decoder-Only Language Model for South African Languages

• arxiv url: http://arxiv.org/abs/2603.20732v1
• Date: Sat, 21 Mar 2026 09:35:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.062451
• Title: MzansiText and MzansiLM: An Open Corpus and Decoder-Only Language Model for South African Languages
• Title（参考訳）: MzansiTextとMzansiLM:南アフリカ語のためのオープンコーパスとデコーダ専用言語モデル
• Authors: Anri Lombard, Simbarashe Mawere, Temi Aina, Ethan Wolff, Sbonelo Gumede, Elan Novick, Francois Meyer, Jan Buys,
• Abstract要約: 私たちは南アフリカの言語に注目しており、公式の11の言語すべてをターゲットにした、公開可能なデコーダのみのモデルに気付いていません。 我々は、再現可能なフィルタリングパイプラインを備えた多言語事前学習コーパスMzansiTextと、スクラッチから訓練された125Mパラメータ言語モデルMzansiLMを紹介する。 我々は,MzansiLMの自然言語理解と生成を,単言語タスク固有の微調整,多言語タスク固有の微調整,汎用マルチタスク命令微調整の3つの適応方式を用いて評価した。
• 参考スコア（独自算出の注目度）: 7.256099340300146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoder-only language models can be adapted to diverse tasks through instruction finetuning, but the extent to which this generalizes at small scale for low-resource languages remains unclear. We focus on the languages of South Africa, where we are not aware of a publicly available decoder-only model that explicitly targets all eleven official written languages, nine of which are low-resource. We introduce MzansiText, a curated multilingual pretraining corpus with a reproducible filtering pipeline, and MzansiLM, a 125M-parameter language model trained from scratch. We evaluate MzansiLM on natural language understanding and generation using three adaptation regimes: monolingual task-specific finetuning, multilingual task-specific finetuning, and general multi-task instruction finetuning. Monolingual task-specific finetuning achieves strong performance on data-to-text generation, reaching 20.65 BLEU on isiXhosa and competing with encoder-decoder baselines over ten times larger. Multilingual task-specific finetuning benefits closely related languages on topic classification, achieving 78.5% macro-F1 on isiXhosa news classification. While MzansiLM adapts effectively to supervised NLU and NLG tasks, few-shot reasoning remains challenging at this model size, with performance near chance even for much larger decoder-only models. We release MzansiText and MzansiLM to provide a reproducible decoder-only baseline and clear guidance on adaptation strategies for South African languages at small scale.
• Abstract（参考訳）: デコーダのみの言語モデルは、命令の微調整によって多様なタスクに適応できるが、それが低リソース言語に対して小規模で一般化される範囲は、まだ不明である。 私たちは南アフリカの言語に重点を置いています。9つが低リソースである11の公的な言語を対象とする、公開可能なデコーダのみのモデルに気付いていません。 我々は、再現可能なフィルタリングパイプラインを備えた多言語事前学習コーパスMzansiTextと、スクラッチから訓練された125Mパラメータ言語モデルMzansiLMを紹介する。 我々は,MzansiLMの自然言語理解と生成を,単言語タスク固有の微調整,多言語タスク固有の微調整,汎用マルチタスク命令微調整の3つの適応方式を用いて評価した。 単言語タスク固有の微調整は、isiXhosa上で20.65 BLEUに達し、10倍以上のエンコーダ-デコーダベースラインと競合する。 多言語タスク固有の微調整は、トピック分類に関する言語に密接に関連しており、isiXhosaニュース分類で78.5%のマクロF1を達成した。 MzansiLM は教師付き NLU や NLG のタスクに効果的に適応するが、このモデルサイズでは数発の推論が困難であり、さらに大きなデコーダのみのモデルでも性能は高い。 我々はMzansiTextとMzansiLMをリリースし、再現可能なデコーダのみのベースラインと、小規模で南アフリカ言語への適応戦略の明確なガイダンスを提供する。

関連論文リスト

• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• MasakhaNEWS: News Topic Classification for African languages [15.487928928173098]
  アフリカの言語は、いくつかのNLPタスクをカバーするデータセットが欠如しているため、NLP研究において非常に不足している。 我々は,アフリカで広く話されている16言語を対象として,ニューストピック分類のための新しいベンチマークデータセットであるMashokhaNEWSを開発した。
  論文  参考訳（メタデータ） (2023-04-19T21:12:23Z)
• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Multilingual Language Model Adaptive Fine-Tuning: A Study on African Languages [19.067718464786463]
  我々は、アフリカ大陸で広く話されている17の最もリソースの多いアフリカ言語と他の3つの高リソース言語に対して、多言語適応微調整(MAFT)を行う。 多言語 PLM をさらに専門化するため,MAFT 以前の非アフリカ文字スクリプトに対応する埋め込み層から語彙トークンを除去した。 当社のアプローチでは,LAFTを個々の言語に適用する上で,ディスクスペースを大幅に削減する。
  論文  参考訳（メタデータ） (2022-04-13T16:13:49Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。