論文の概要: EthioLLM: Multilingual Large Language Models for Ethiopian Languages with Task Evaluation

• arxiv url: http://arxiv.org/abs/2403.13737v1
• Date: Wed, 20 Mar 2024 16:43:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-21 16:08:57.409398
• Title: EthioLLM: Multilingual Large Language Models for Ethiopian Languages with Task Evaluation
• Title（参考訳）: EthioLLM:タスク評価を伴うエチオピア語用多言語大言語モデル
• Abstract要約: 本稿では,エチオピア語5言語(Amharic, Ge'ez, Afan Oromo, Somali, Tigrinya)と英語の多言語大言語モデルであるEthioLLMを紹介する。 我々は,5つの下流自然言語処理(NLP)タスクにおいて,これらのモデルの性能を評価する。
• 参考スコア（独自算出の注目度）: 24.060772057458685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have gained popularity recently due to their outstanding performance in various downstream Natural Language Processing (NLP) tasks. However, low-resource languages are still lagging behind current state-of-the-art (SOTA) developments in the field of NLP due to insufficient resources to train LLMs. Ethiopian languages exhibit remarkable linguistic diversity, encompassing a wide array of scripts, and are imbued with profound religious and cultural significance. This paper introduces EthioLLM -- multilingual large language models for five Ethiopian languages (Amharic, Ge'ez, Afan Oromo, Somali, and Tigrinya) and English, and Ethiobenchmark -- a new benchmark dataset for various downstream NLP tasks. We evaluate the performance of these models across five downstream NLP tasks. We open-source our multilingual language models, new benchmark datasets for various downstream tasks, and task-specific fine-tuned language models and discuss the performance of the models. Our dataset and models are available at the https://huggingface.co/EthioNLP repository.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、様々な下流自然言語処理(NLP)タスクにおける優れたパフォーマンスのために人気を博している。 しかし、低リソース言語は、LLMを訓練するリソースが不足しているため、NLP分野における現在の最先端(SOTA)開発に遅れを取っている。 エチオピア語は言語学的多様性が顕著で、様々な文字が包含されており、宗教的・文化的意義が深い。 本稿では,エチオピア語5言語(Amharic, Ge'ez, Afan Oromo, Somali, Tigrinya)と英語の多言語大言語モデルであるEthioLLMと,下流NLPタスクのための新しいベンチマークデータセットであるEthiobenchmarkを紹介する。 我々は、これらのモデルの性能を5つの下流NLPタスクで評価する。 我々は、多言語言語モデル、様々な下流タスクのための新しいベンチマークデータセット、タスク固有の微調整言語モデルをオープンソース化し、モデルの性能について議論する。 私たちのデータセットとモデルはhttps://huggingface.co/EthioNLPリポジトリで公開されています。

関連論文リスト

• MameLoshnLM: Yiddish Language Model and Evaluation Benchmark [62.936233688546984]
  We present MameLoshnLM, a first open-source 8B- parameter language model built for Yiddish。 イディッシュ語のリッチテキストの伝統にもかかわらず、そのデジタル的存在と信頼性の高い評価資源の不足は、イディッシュ語のモデリングの進歩を妨げている。 この結果は,Yiddish NLPの基礎と,歴史的にリッチだがデジタルに表現されていない言語における言語モデル開発のための実践的テンプレートの両方を提供する。
  論文  参考訳（メタデータ） (2026-08-06T10:24:08Z)
• MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages [35.41743483735058]
  ソーシャルメディアのデータは10年以上にわたって自然言語処理(NLP)の実践者にとって関心を集めてきた。 言語の使用はより非公式であり、自発的であり、多くの異なる社会表現に固執するため、NLPモデルの性能は劣化することが多い。 この問題の解決策の1つは、データを処理する前に標準的な変種に変換することである。
  論文  参考訳（メタデータ） (2026-01-23T10:27:40Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• One Model is All You Need: ByT5-Sanskrit, a Unified Model for Sanskrit NLP Tasks [26.848664285007022]
  ByT5-Sanskritは、形態的にリッチなサンスクリット言語を含むNLPアプリケーション向けに設計された。 外部の言語資源によってカバーされていないデータへのデプロイが容易で、より堅牢である。 提案手法は,他の形態学的にリッチな言語に対する補題化と依存関係解析のための新たなベストスコアが得られることを示す。
  論文  参考訳（メタデータ） (2024-09-20T22:02:26Z)
• Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model [14.39119862985503]
  利用可能なデータセットを用いた多言語ALTシステムの構築を目指している。 英語のALTに有効であることが証明されたアーキテクチャにヒントを得て,これらの手法を多言語シナリオに適用する。 単言語モデルと比較して,多言語モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-06-25T15:02:32Z)
• Benchmarking Pre-trained Large Language Models' Potential Across Urdu NLP tasks [0.9786690381850356]
  多言語データで事前訓練されたLarge Language Models (LLMs)は、自然言語処理の研究に革命をもたらした。 本研究では,15のUrduデータセットを用いて,14のタスクにまたがる顕著なLLMの詳細な検討を行った。 実験の結果、SOTAモデルはゼロショット学習を伴う全てのUrdu NLPタスクにおいて、エンコーダ-デコーダ事前訓練された言語モデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2024-05-24T11:30:37Z)
• EthioMT: Parallel Corpus for Low-resource Ethiopian Languages [49.80726355048843]
  15言語用の新しい並列コーパスであるEthioMTを紹介する。 また、エチオピアのより優れた言語のためのデータセットを収集して、新しいベンチマークを作成する。 トランスフォーマーと微調整手法を用いて,新たに収集したコーパスと23のエチオピア語に対するベンチマークデータセットを評価した。
  論文  参考訳（メタデータ） (2024-03-28T12:26:45Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios? [0.0]
  我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。 ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
  論文  参考訳（メタデータ） (2021-10-26T14:59:16Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
  本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。 他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
  論文  参考訳（メタデータ） (2020-05-26T05:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。