論文の概要: BanglaLlama: LLaMA for Bangla Language
- arxiv url: http://arxiv.org/abs/2410.21200v2
- Date: Mon, 06 Oct 2025 18:11:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 15:38:19.480357
- Title: BanglaLlama: LLaMA for Bangla Language
- Title（参考訳）: BanglaLlama: Bangla言語用のLLaMA
- Authors: Abdullah Khan Zehady, Shubhashis Roy Dipta, Naymul Islam, Safi Al Mamun, Santu Karmaker,
- Abstract要約: バングラ語は世界で5番目に大きな言語であるが、依然として「低リソース」言語である。
既存の事前訓練された言語モデルは、しばしばBangla Language Processing (BLP)タスクでうまく機能するのに苦労する。
本稿では,224kサンプルからなる2つの高品質翻訳バングラインストラクションデータセットを提案する。
- 参考スコア（独自算出の注目度）: 1.0710988917914002
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bangla is a language spoken by approximately 240 million native speakers and around 300 million people worldwide. Despite being the 5th largest spoken language in the world, Bangla is still a "low-resource" language, and existing pretrained language models often struggle to perform well on Bangla Language Processing (BLP) tasks. This paper addresses this gap by: (1) introducing two high-quality translated Bangla-instruction datasets totaling 224k samples - Bangla-Orca (172k) and Bangla-Alpaca (52k); and (2) leveraging these datasets to develop BanglaLlama, an open-source family of Bangla-specific LLMs, consisting of five base and instruct variants. We present our methodology, two large datasets, and comprehensive benchmarking results showcasing the effectiveness of our dataset and model on multiple benchmarks. We believe our proposed datasets and models will serve as the new standard baseline for future research focused on this widely spoken yet "low-resource" language.
- Abstract（参考訳）: バングラ語は、約4億4000万人の母国語話者と約3億人が話す言語である。
世界で5番目に大きな言語であるにもかかわらず、バングラは依然として「低リソース」言語であり、既存の事前訓練された言語モデルは、しばしばBangla言語処理(BLP)タスクでうまく機能するのに苦労している。
本論文は,(1)Bangla-Orca(172k),Bangla-Alpaca(172k),(2)Bangla-Llama(Bangla-Llama)のオープンソースファミリの開発のために,Bangla-Orca(172k),Bangla-Alpaca(172k)の2つの高品質翻訳Bangla-Instructionデータセットを導入した。
提案手法,2つの大規模データセット,および総合的なベンチマーク結果から,複数のベンチマーク上でのデータセットとモデルの有効性を示す。
提案したデータセットとモデルは、広く話されているが"低リソース"言語に焦点を当てた、将来の研究のための新しい標準ベースラインとして役立ちます。
関連論文リスト
- Improving Bangla Linguistics: Advanced LSTM, Bi-LSTM, and Seq2Seq Models for Translating Sylheti to Modern Bangla [3.11717505289722]
バングラデシュのすべての地域は、シルヘティ語、チッタゴン語など独自の言語を持っている。
本研究は現地語用であり,本論文はSylheti言語に関するものである。
自然言語処理やNLP技術を用いて、PureやModern Banglaを局所的に話されるSylheti Bangla言語に翻訳する包括的なシステムを提示した。
論文 参考訳（メタデータ） (2025-05-24T14:13:45Z) - TigerLLM -- A Family of Bangla Large Language Models [8.258559455995917]
バングラ語モデルのファミリーであるTigerLLMを紹介します。
以上の結果から,これらのモデルがすべてのオープンソース代替品を上回り,GPT3.5のような大型のプロプライエタリモデルを上回る結果が得られた。
論文 参考訳（メタデータ） (2025-03-14T01:41:16Z) - MaLA-500: Massive Language Adaptation of Large Language Models [61.440556436524]
MALA-500は、幅広い534言語をカバーするように設計された、新しい大きな言語モデルである。
我々の本質的な評価は,MALA-500 が既存の多言語 LLM よりも低リソース言語のテキストの予測に優れていることを示している。
論文 参考訳（メタデータ） (2024-01-24T08:57:39Z) - BanglaNLP at BLP-2023 Task 2: Benchmarking different Transformer Models
for Sentiment Analysis of Bangla Social Media Posts [0.46040036610482665]
本稿では,BLPワークショップ第2タスク(Bangla Social Media Posts の感性分析)について紹介する。
我々の定量的結果は、トランスファーラーニングが、この低リソース言語シナリオにおけるモデルのより優れた学習に役立つことを示している。
テストセットで67.02%のマイクロF1を取得し、この共有タスクのパフォーマンスをリーダーボードで21にランク付けする。
論文 参考訳（メタデータ） (2023-10-13T16:46:38Z) - Baichuan 2: Open Large-scale Language Models [51.56361715162972]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。
Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳（メタデータ） (2023-09-19T04:13:22Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳（メタデータ） (2023-07-12T09:00:37Z) - ML-SUPERB: Multilingual Speech Universal PERformance Benchmark [73.65853301350042]
音声処理Universal PERformance Benchmark (SUPERB) は、音声処理タスクにおける自己監督学習(SSL)モデルの性能をベンチマークするためのリーダーボードである。
本稿では,言語認識と言語識別の両方を考慮した多言語SUPERBを提案する。
SUPERBベンチマークと同様、音声SSLモデルはFBANKよりも性能が大幅に向上する。
論文 参考訳（メタデータ） (2023-05-18T00:01:27Z) - On Evaluation of Bangla Word Analogies [0.8658596218544772]
本稿では,Bangla単語の埋め込み品質を評価するための高品質なデータセットを提案する。
世界で7番目に普及した言語であるにもかかわらず、Banglaは低リソース言語であり、人気のあるNLPモデルはうまく機能しない。
論文 参考訳（メタデータ） (2023-04-10T14:27:35Z) - BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting [50.24676567971536]
BLOOMモデルは広く公開されている多言語言語モデルであるが、事前訓練は46言語に限られていた。
既存の言語適応戦略をBLOOMに適用し、8つの新しい言語の性能向上を促すゼロショットをベンチマークする。
データ言語を十分に訓練すれば、多様な言語に適応できると結論付けている。
論文 参考訳（メタデータ） (2022-12-19T15:24:45Z) - BLOOM: A 176B-Parameter Open-Access Multilingual Language Model [264.96498474333697]
大規模言語モデル(LLM)は、いくつかのデモや自然言語命令に基づいて新しいタスクを実行できることが示されている。
BLOOMは、176Bパラメータのオープンアクセス言語モデルであり、数百人の研究者の協力により設計・構築されている。
BLOOMは、RATSコーパスでトレーニングされたデコーダのみのトランスフォーマー言語モデルである。
論文 参考訳（メタデータ） (2022-11-09T18:48:09Z) - BanglaNLG: Benchmarks and Resources for Evaluating Low-Resource Natural
Language Generation in Bangla [21.47743471497797]
本研究はバングラの自然言語生成モデルを評価するためのベンチマークを示す。
BanglaNLGベンチマークでは,3つの条件付きテキスト生成タスクを集約する。
クリーンコーパス27.5GBのBanglaデータを用いて、Banglaのシーケンス・ツー・シーケンス・トランスフォーマーモデルであるBanglaT5を事前訓練する。
BanglaT5はすべてのタスクで最先端のパフォーマンスを実現し、mT5(ベース)を最大5.4%上回っている。
論文 参考訳（メタデータ） (2022-05-23T06:54:56Z) - A Review of Bangla Natural Language Processing Tasks and the Utility of
Transformer Models [2.5768647103950357]
研究コミュニティで利用可能なBangla NLPタスク、リソース、ツールについてレビューする。
我々は、現在最先端のアルゴリズムを用いて、9つのNLPタスクのために、さまざまなプラットフォームから収集されたデータセットをベンチマークした。
個人と統合されたデータセットを用いてその結果を報告し、今後の研究のためのデータを提供する。
論文 参考訳（メタデータ） (2021-07-08T13:49:46Z) - BanglaBERT: Combating Embedding Barrier for Low-Resource Language
Understanding [1.7000879291900044]
私たちはバングラ自然言語理解モデルを構築し、インターネット上のトップバングラのサイトから収集した18.6gbのデータに基づいてトレーニングした。
本モデルは,多言語ベースラインを上回り,前回の結果を1～6%上回った。
我々は、記述スクリプトを高リソースと共有しない低リソース言語のパフォーマンスを損なう多言語モデルの主な欠点を特定します。
論文 参考訳（メタデータ） (2021-01-01T09:28:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。