論文の概要: BOTS-LM: Training Large Language Models for Setswana

• arxiv url: http://arxiv.org/abs/2408.02239v1
• Date: Mon, 5 Aug 2024 05:15:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-06 14:36:03.782238
• Title: BOTS-LM: Training Large Language Models for Setswana
• Title（参考訳）: BOTS-LM:Setswanaのための大規模言語モデルのトレーニング
• Authors: Nathan Brown, Vukosi Marivate,
• Abstract要約: BOTS-LM (英語: BOTS-LM) は、セツワナ語と英語の両方で熟達したバイリンガル言語モデルである。 Seswana最大のWebデータセットであるSetsTextをリリースし、2億6700万以上のトークンを合計しました。
• 参考スコア（独自算出の注目度）: 0.38683522641481644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we present BOTS-LM, a series of bilingual language models proficient in both Setswana and English. Leveraging recent advancements in data availability and efficient fine-tuning, BOTS-LM achieves performance similar to models significantly larger than itself while maintaining computational efficiency. Our initial release features an 8 billion parameter generative large language model, with upcoming 0.5 billion and 1 billion parameter large language models and a 278 million parameter encoder-only model soon to be released. We find the 8 billion parameter model significantly outperforms Llama-3-70B and Aya 23 on English-Setswana translation tasks, approaching the performance of dedicated machine translation models, while approaching 70B parameter performance on Setswana reasoning as measured by a machine translated subset of the MMLU benchmark. To accompany the BOTS-LM series of language models, we release the largest Setswana web dataset, SetsText, totalling over 267 million tokens. In addition, we release the largest machine translated Setswana dataset, the first and largest synthetic Setswana dataset, training and evaluation code, training logs, and MMLU-tsn, a machine translated subset of MMLU.
• Abstract（参考訳）: 本稿では,セツワナ語と英語の両方に習熟したバイリンガル言語モデルBOTS-LMを紹介する。 近年のデータ可用性と効率的な微調整の進歩を活用して、BOTS-LMは計算効率を維持しながら、それよりもかなり大きなモデルに類似した性能を実現する。 最初のリリースでは80億のパラメータ生成大言語モデルと、近くリリース予定の0.5億と10億のパラメータ生成大言語モデル、および2億8800万のパラメータエンコーダのみのモデルを備えています。 Llama-3-70B と Aya 23 は英語とセトワナの翻訳タスクにおいて有意に優れており、専用の機械翻訳モデルの性能に近づきつつ、MMLU ベンチマークの機械翻訳サブセットで測定されたセトスワナの推論において70B のパラメータ性能に近づいた。 BOTS-LMシリーズの言語モデルに付随するため、Setswana最大のWebデータセットであるSetsTextをリリースし、合計で2億6700万以上のトークンを公開しました。 さらに,Setswanaデータセット,第1および第1の合成Setswanaデータセット,トレーニングおよび評価コード,トレーニングログ,MMLUの機械翻訳サブセットであるMMLU-tsnもリリースした。

関連論文リスト

• SPRING Lab IITM's submission to Low Resource Indic Language Translation Shared Task [10.268444449457956]
  我々は,Khasi,Mizo,Manipuri,Assameseの4つの低リソースIndic言語に対して,ロバストな翻訳モデルを構築した。 このアプローチには、データ収集と前処理からトレーニングと評価まで、包括的なパイプラインが含まれています。 バイリンガルデータの不足に対処するために,ミゾとカシのモノリンガルデータセットの逆翻訳手法を用いる。
  論文  参考訳（メタデータ） (2024-11-01T16:39:03Z)
• NusaMT-7B: Machine Translation for Low-Resource Indonesian Languages with Large Language Models [2.186901738997927]
  本稿では,低リソースインドネシア語用機械翻訳モデルであるNusaMT-7Bを紹介する。 提案手法は, 単言語データ, Supervised Fine-Tuning (SFT) , 自己学習, LLMベースのデータクリーナーを併用し, 並列文のノイズを低減する。 この結果から,LLMの微調整により,低リソース言語への翻訳品質が向上し,言語保存や異文化間コミュニケーションに寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T11:33:25Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Investigating the translation capabilities of Large Language Models trained on parallel data only [1.5974665548135587]
  大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの幅広い範囲で例外的な習熟性を示している。 PLUMEは,カタルーニャ語中心の並列例に特化して訓練された語彙サイズ(32k,128k,256k)の異なる3つの2B LLMのコレクションである。 これらのモデルは、16の教師付き翻訳方向と56のゼロショット上で、以前のエンコーダ・デコーダアーキテクチャと互換性がある。
  論文  参考訳（メタデータ） (2024-06-13T14:08:56Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• Benchmarking Pre-trained Large Language Models' Potential Across Urdu NLP tasks [0.9786690381850356]
  多言語データで事前訓練されたLarge Language Models (LLMs)は、自然言語処理の研究に革命をもたらした。 本研究では,15のUrduデータセットを用いて,14のタスクにまたがる顕著なLLMの詳細な検討を行った。 実験の結果、SOTAモデルはゼロショット学習を伴う全てのUrdu NLPタスクにおいて、エンコーダ-デコーダ事前訓練された言語モデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2024-05-24T11:30:37Z)
• Setting up the Data Printer with Improved English to Ukrainian Machine Translation [0.0]
  ウクライナ語と英語の文の3M対のノイズの多い並列データセットを用いた翻訳システムを構築するためのレシピを提案する。 我々のデコーダのみのモデルであるDragomanは、FLORESデベロップメントセットのアーティファクトエンコーダ-デコーダモデルの性能を上回りました。
  論文  参考訳（メタデータ） (2024-04-23T16:34:34Z)
• Do Not Worry if You Do Not Have Data: Building Pretrained Language Models Using Translationese [47.45957604683302]
  事前学習には大量のモノリンガルデータが必要であるが、ほとんど英語以外の言語では利用できない。 我々は、英語とIndic言語を例にとり、Webcrawled monolingual document (clean)を対象言語に翻訳する。 そして、この翻訳データに基づいて28Mと85Mのパラメータを含む言語モデルを訓練する(合成)。 下流の自然言語理解および生成タスクにおけるそれらの性能は、クリーンデータで事前訓練されたLMよりも、NLUタスクで3.56%、NLGタスクで1.51%劣っている。
  論文  参考訳（メタデータ） (2024-03-20T14:41:01Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• PuoBERTa: Training and evaluation of a curated language model for Setswana [0.27314498937806636]
  PuoBERTaは、セツワナで特別に訓練されたカスタマイズ言語モデルである。 我々はPuoBERTaの訓練のための高品質なコーパスを生成するために、多種多様な単言語テキストを収集し、キュレートし、準備した。
  論文  参考訳（メタデータ） (2023-10-13T14:33:02Z)
• A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models [27.777372498182864]
  生成型大規模言語モデル(LLM)のための新しい微調整手法を提案する。 提案手法は,モノリンガルデータに対する初期微調整と,それに続く少数の高品質並列データに対する微調整の2段階からなる。 LLaMA-2を基礎モデルとして,このモデルではゼロショット性能よりも12BLEUおよび12COMETの平均的な改善が達成できることを示した。
  論文  参考訳（メタデータ） (2023-09-20T22:53:15Z)
• Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
  既存の大きな言語モデルは、異なる言語間で異なる能力を示す。 本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
  論文  参考訳（メタデータ） (2023-08-09T13:32:06Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task [49.916963624249355]
  本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。 我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。 本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
  論文  参考訳（メタデータ） (2022-10-17T04:34:09Z)
• Analyzing Bagging Methods for Language Models [0.5161531917413708]
  我々は,バッジ言語モデルの解析を行い,単一言語モデルと最終モデルサイズで大まかに等価なタグ付きアンサンブルを比較した。 我々のアンサンブル法は、少なくとも1つのLMベースラインとほぼ同等である。
  論文  参考訳（メタデータ） (2022-07-19T06:30:37Z)
• Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
  ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。 KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。 本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
  論文  参考訳（メタデータ） (2022-05-18T09:17:14Z)
• Facebook AI's WMT20 News Translation Task Submission [69.92594751788403]
  本稿では、Facebook AIによるWMT20共有ニュース翻訳タスクの提出について述べる。 資源設定の低さに着目し,タミル語-英語とイヌクティトゥット語-英語の2つの言語ペアに参加する。 我々は、利用可能なデータをすべて活用し、ターゲットのニュースドメインにシステムを適用するという、2つの主要な戦略を用いて、低リソース問題にアプローチする。
  論文  参考訳（メタデータ） (2020-11-16T21:49:00Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)
• scb-mt-en-th-2020: A Large English-Thai Parallel Corpus [3.3072037841206354]
  我々は100万以上のセグメント対を持つ英タイ機械翻訳データセットを構築した。 このデータセットに基づいて機械翻訳モデルを訓練する。 データセット、事前トレーニングされたモデル、私たちの作業を再現するソースコードは、パブリックに利用できます。
  論文  参考訳（メタデータ） (2020-07-07T15:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。