論文の概要: AfriNLLB: Efficient Translation Models for African Languages

• arxiv url: http://arxiv.org/abs/2602.09373v1
• Date: Tue, 10 Feb 2026 03:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.35093
• Title: AfriNLLB: Efficient Translation Models for African Languages
• Title（参考訳）: AfriNLLB:アフリカ言語の効率的な翻訳モデル
• Authors: Yasmin Moslem, Aman Kassahun Wassie, Amanuel Gizachew Abebe,
• Abstract要約: AfriNLLBはスワヒリ語、ハウサ語、ヨルバ語、アムハラ語、ソマリ語、ズールー語、リンガラ語、アフリカーン語、ウルフ語、アラビア語を含む15の言語ペア(30の翻訳方向)をサポートしている。 私たちのトレーニングデータは、英語と13の言語、およびフランス語と2つの言語(リンガラ語とウーロフ語)間の双方向翻訳をカバーしています。
• 参考スコア（独自算出の注目度）: 0.2637730115670454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present AfriNLLB, a series of lightweight models for efficient translation from and into African languages. AfriNLLB supports 15 language pairs (30 translation directions), including Swahili, Hausa, Yoruba, Amharic, Somali, Zulu, Lingala, Afrikaans, Wolof, and Egyptian Arabic, as well as other African Union official languages such as Arabic (MSA), French, Portuguese, and Spanish. Our training data covers bidirectional translation between English and 13 languages, and between French and two languages (Lingala and Wolof). AfriNLLB models are based on NLLB-200 600M, which we compress using iterative layer pruning and quantization. We fine-tune the pruned models on parallel corpora we curated for African languages, employing knowledge distillation from a larger teacher model. Our work aims at enabling efficient deployment of translation models for African languages in resource-constrained settings. Our evaluation results demonstrate that AfriNLLB models achieve performance comparable to the baseline while being significantly faster. We release two versions of the AfriNLLB models, a Transformers version that allows further fine-tuning and a CTranslate2 version for efficient inference. Moreover, we release all the training data that we used for fine-tuning the baseline and pruned models to facilitate further research.
• Abstract（参考訳）: 本研究では,アフリカ語への効率的な翻訳のための軽量モデルであるAfriNLLBを紹介する。 AfriNLLBは、スワヒリ語、ハウサ語、ヨルバ語、アムハラ語、ソマリ語、ズールー語、リンガラ語、アフリカーン語、ウルフ語、アラビア語を含む15の言語対(30の翻訳方向)をサポートし、また、アラビア語(MSA)、フランス語、ポルトガル語、スペイン語など他のアフリカ連邦の公用語もサポートしている。 トレーニングデータは、英語と13の言語間の双方向翻訳と、フランス語と2つの言語(LingalaとWolof)間の双方向翻訳をカバーしています。 AfriNLLBモデルはNLLB-200600Mに基づいており、反復層プルーニングと量子化を用いて圧縮する。 我々は、アフリカ語でキュレーションした並列コーパス上で、より大規模な教師モデルからの知識蒸留を利用して、刈り取られたモデルを微調整した。 本研究は,資源制約のある環境でのアフリカ語翻訳モデルの効率的な展開を実現することを目的としている。 評価の結果,AfriNLLBモデルはベースラインに匹敵する性能を示し,性能は大幅に向上した。 AfriNLLBモデルの2つのバージョン、さらに微調整が可能なTransformersバージョン、効率的な推論のためのCTranslate2バージョンをリリースします。 さらに,ベースラインモデルとプルーニングモデルの微調整に使用したトレーニングデータをすべてリリースして,さらなる研究を促進する。

関連論文リスト

• Improving Multilingual Capabilities with Cultural and Local Knowledge in Large Language Models While Enhancing Native Performance [0.0]
  Hindi- English bi-lingual LLM textbfMantra-14B with 3% improve in benchmark scores over both languages。 我々は、Qwen-2.5-14B-InstructやPhi-4といったチューニングモデルに、英語とヒンディー語の両方のパフォーマンスを改善するよう指示した。 以上の結果から,文化的・局所的な情報を用いた微調整は,計算オーバーヘッドを伴わずに性能ギャップを埋めることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-04-13T23:10:13Z)
• Lugha-Llama: Adapting Large Language Models for African Languages [48.97516583523523]
  大規模言語モデル(LLM)は、幅広い自然言語アプリケーションにおいて印象的な成果を上げている。 低リソースのアフリカ言語にLLMを適用する方法について検討する。 アフリカの言語から得られたキュレートされたデータと高品質な英語の教育用テキストを組み合わせることで、これらの言語上でのモデルの性能を大幅に向上させる訓練ミックスが得られることがわかった。
  論文  参考訳（メタデータ） (2025-04-09T02:25:53Z)
• LiLiuM: eBay's Large Language Models for e-commerce [6.819297537500464]
  大規模言語モデル (LLM) のLiLiuM シリーズについて紹介する: 1B, 7B, 13B パラメータモデル。 これにより、eBayは、ライセンス、データ、語彙、アーキテクチャを含むモデルのすべての側面を完全にコントロールできる。 LiLiuM LLMは、一般およびeコマースドメインから3兆個の多言語テキストのトークンで訓練されている。
  論文  参考訳（メタデータ） (2024-06-17T18:45:41Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Memory-efficient NLLB-200: Language-specific Expert Pruning of a Massively Multilingual Machine Translation Model [92.91310997807936]
  NLLB-200は202言語をカバーする多言語ニューラルネットワークモデルである。 そこで本研究では,最大80%のエキスパートの除去を,それ以上の微調整を行なわずに行うことができるプルーニング法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T19:29:40Z)
• AfroLM: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages [0.021987601456703476]
  AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。 AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。 様々な領域にまたがってうまく一般化することができる。
  論文  参考訳（メタデータ） (2022-11-07T02:15:25Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。