論文の概要: Africa-Papers: A 10-Billion-Token Multi-Domain Academic Corpus for African Foundation Language Models
- arxiv url: http://arxiv.org/abs/2610.28173v1
- Date: Tue, 20 Oct 2026 13:14:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.826143
- Title: Africa-Papers: A 10-Billion-Token Multi-Domain Academic Corpus for African Foundation Language Models
- Title（参考訳）: Africa-Papers:アフリカ基礎言語モデルのための10ビリオンのマルチドメインアカデミックコーパス
- Abstract要約: アフリカ・パッパーズ(英語: Africa-Papers)は、アフリカ最大の教育機関である。
879個のパーケのシャードに1015億のトークンにまたがる844,807以上のフルテキストの文書を補完する。
1)アフリカ31カ国でDOAJに掲載されている大陸の査読論文、(2)CGIAR CGSpaceの農業リポジトリ、(3)アフリカ系およびアフリカ系STEM/AIによるarXivの事前印刷である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) depend fundamentally on the diversity, depth, and factual rigor of their pre-training corpora. However, contemporary foundational pre-training datasets (such as The Pile, S2ORC, and Dolma) exhibit a severe structural omission: African scientific, medical, legal, and agricultural scholarship constitutes less than 0.5% of global pre-training tokens. Consequently, state-of-the-art models suffer from systematic failure modes when reasoning about tropical epidemiology, localized smallholder agro-ecologies, regional economic governance, and indigenous linguistic structures. To resolve this representation deficit and advance African intellectual sovereignty in artificial intelligence, we introduce Africa-Papers, the largest curated multi-domain Pan-African academic pre-training corpus to date. Comprising over 844,807 full-text papers spanning 10.15 billion tokens across 879 Parquet shards, Africa-Papers unifies four primary scientific streams: (1) continental peer-reviewed journals indexed in DOAJ across 31 African nations, (2) the CGIAR CGSpace agricultural repository, (3) African-authored and African-focused STEM/AI preprints on arXiv, and (4) open-access international publications by scholars affiliated with African institutions indexed via OpenAlex. The entire corpus is processed into layout-aware, clean Markdown preserving section hierarchies, mathematical equations, and tabular data, accompanied by exact BPE token counts and a standardized 8-domain taxonomy. We release Africa-Papers openly on the Hugging Face Hub under the AfriSpeech organization to accelerate continual pre-training and domain evaluation for foundation models globally.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、基本的に、訓練前のコーパスの多様性、深さ、現実的な厳密さに依存している。
しかしながら、現代の基礎的な事前訓練データセット(The Pile、S2ORC、Dolmaなど)は深刻な構造上の欠落を示しており、アフリカ科学、医学、法律、農業の奨学金は世界の事前訓練トークンの0.5%未満である。
結果として、最先端のモデルは、熱帯疫学、地域化された小規模所有者の農業生態学、地域経済ガバナンス、および先住民の言語構造について推論する際に、体系的な失敗モードに悩まされる。
この表現不足を解消し、人工知能におけるアフリカの知的主権を前進させるため、これまでで最大の多分野のパンアフリカ学術事前学習コーパスであるアフリカ・パッパーを紹介した。
879のパルケットシャードにまたがる10.15億のトークンにまたがる844,807以上の全文の論文を執筆し、アフリカ・パパーズは、(1)アフリカ31か国にまたがるDOAJで索引づけされた大陸の査読されたジャーナル、(2)CGIAR CGSpace農業リポジトリ、(3)アフリカ系およびアフリカ系STEM/AIのarXivに関するプレプリント、(4)アフリカ系機関に属する学者によるオープンアクセス国際出版の4つの主要な科学的ストリームを統一している。
全コーパスはレイアウト対応でクリーンなマークダウン保存セクション階層、数学的方程式、表データに処理され、正確なBPEトークンカウントと標準化された8ドメイン分類が付属する。
我々はAfriSpeech組織の下でHugging Face Hub上でオープンにAfrican-Papersをリリースし、世界中の基礎モデルの継続的な事前トレーニングとドメイン評価を加速します。
関連論文リスト
- AfriScience-MT: Towards Decolonizing Science in Africa through Text Translation [13.80926536385416]
AfriScience-MTは、6つのアフリカの言語(アムハラ語、ハウサ語、ルガンダ語、北部ソソ語、ヨルブ語、イシズルー語)をカバーする平行コーパスである。
専門の翻訳者は、科学論文の平易な要約を各対象言語に翻訳し、全く存在しない新しい用語を作り出した。
ゼロショット、少数ショット、微調整設定で機械翻訳システムと大規模言語モデルをベンチマークする。
論文 参考訳（メタデータ） (2026-05-28T10:36:32Z) - Agentic Educational Content Generation for African Languages on Edge Devices [0.0]
本研究では,エッジデバイス上での教育コンテンツ生成のための自律型エージェントオーケストレーションフレームワークを提案する。
このフレームワークは高い多言語品質を提供し、BLEUスコアは0.688、文化的妥当性は4.4/5、公試されたアフリカの言語は4.2/5だった。
論文 参考訳（メタデータ） (2025-11-01T21:13:47Z) - Mafoko: Structuring and Building Open Multilingual Terminologies for South African NLP [3.0720023574418622]
本稿では,アフリカ中心のNOODLフレームワークを用いて,基礎となるMafokoデータセットについて紹介する。
実験では、英語からツシヴェンダ語への機械翻訳の精度とドメイン固有の一貫性が大幅に向上した。
論文 参考訳（メタデータ） (2025-08-05T15:00:02Z) - BIOMEDICA: An Open Biomedical Image-Caption Archive, Dataset, and Vision-Language Models Derived from Scientific Literature [73.39593644054865]
BIOMEDICAはスケーラブルでオープンソースのフレームワークで、PubMed Central Open Accessサブセット全体を抽出、注釈付け、シリアライズして、使いやすく、公開可能なデータセットにする。
われわれのフレームワークは600万以上の記事から2400万以上のユニークな画像テキストペアで包括的なアーカイブを生成する。
BMCA-CLIPは、ストリーミングを通じてBIOMEDICAデータセット上で継続的に事前トレーニングされたCLIPスタイルのモデルのスイートで、27TBのデータをローカルにダウンロードする必要がなくなる。
論文 参考訳（メタデータ） (2025-01-13T09:58:03Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [97.31347312130119]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning)は、トレーニングと評価のための137K命令フォローインスタンスのデータセットで、54のタスクをカバーする。
これらのタスクは、情報抽出、要約、質問応答、クレーム検証、分類の5つの中核的な科学文献理解能力にまたがる。
SciRIFFは、さまざまな科学分野にわたる研究文献から情報を抽出し、合成するための、完全に専門家によって書かれた高品質な命令追跡データセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - The State of Computer Vision Research in Africa [5.047087421666734]
この研究はアフリカからの63,000のスコパスのコンピュータビジョンの出版物を分析した。
大規模な言語モデルを用いて、その抽象概念を自動解析し、トピックやデータセットを識別し分類する。
また、アフリカのコンピュータビジョン研究者の間で大規模なアンケートを行い、緊急の注意を要する構造的障壁を特定する。
論文 参考訳（メタデータ） (2024-01-21T22:50:44Z) - MasakhaNER 2.0: Africa-centric Transfer Learning for Named Entity
Recognition [55.95128479289923]
アフリカ系言語は10億人を超える人々によって話されているが、NLPの研究や開発ではあまり語られていない。
我々は、20のアフリカ言語で最大の人間アノテーション付きNERデータセットを作成します。
最適な転送言語を選択すると、ゼロショットF1スコアが平均14ポイント向上することを示す。
論文 参考訳（メタデータ） (2022-10-22T08:53:14Z) - AfroMT: Pretraining Strategies and Reproducible Benchmarks for
Translation of 8 African Languages [94.75849612191546]
AfroMTは、広く話されている8つのアフリカ言語のための標準化され、クリーンで再現可能な機械翻訳ベンチマークである。
これらの言語の特徴を考慮に入れたシステム診断のための分析ツール群を開発した。
11言語での事前トレーニングでは,強いベースラインに対して最大2つのBLEUポイントのゲインが得られた。
論文 参考訳（メタデータ） (2021-09-10T07:45:21Z) - MasakhaNER: Named Entity Recognition for African Languages [48.34339599387944]
アフリカで10の言語で名前付きエンティティ認識のための、最初の大規模な公開可能な高品質データセットを作成します。
我々は,これらの言語がNERにもたらす課題を理解するために,言語の特徴を詳述する。
論文 参考訳（メタデータ） (2021-03-22T13:12:44Z) - Lanfrica: A Participatory Approach to Documenting Machine Translation
Research on African Languages [0.012691047660244334]
アフリカは1500-2000の文書化された言語と多くの未文書または絶滅した言語がある。
これにより、MTの研究、モデル、データセットの追跡が困難になる。
オンラインプラットフォームは、これらのアフリカの言語の研究、ベンチマーク、データセットへのアクセシビリティを作成するのに役立つ。
論文 参考訳（メタデータ） (2020-08-03T18:14:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。