論文の概要: Revisiting Pre-trained Language Models and their Evaluation for Arabic
Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2205.10687v1
- Date: Sat, 21 May 2022 22:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 09:04:38.058764
- Title: Revisiting Pre-trained Language Models and their Evaluation for Arabic
Natural Language Understanding
- Title(参考訳): 事前学習型言語モデルの再検討とアラビア自然言語理解のための評価
- Authors: Abbas Ghaddar, Yimeng Wu, Sunyam Bagga, Ahmad Rashid, Khalil Bibi,
Mehdi Rezagholizadeh, Chao Xing, Yasheng Wang, Duan Xinyu, Zhefeng Wang,
Baoxing Huai, Xin Jiang, Qun Liu, Philippe Langlais
- Abstract要約: 既存のアラビアのPLMは十分に探索されておらず、その事前訓練は大幅に改善できる。
文献にはこれらのモデルの体系的かつ再現可能な評価が欠如している。
我々のモデルは既存のアラビア PLM を著しく上回り、差別的で生成的なアラビア NLU および NLG タスクにおける新たな最先端性能を実現する。
- 参考スコア(独自算出の注目度): 44.048072667378115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is a growing body of work in recent years to develop pre-trained
language models (PLMs) for the Arabic language. This work concerns addressing
two major problems in existing Arabic PLMs which constraint progress of the
Arabic NLU and NLG fields.First, existing Arabic PLMs are not well-explored and
their pre-trainig can be improved significantly using a more methodical
approach. Second, there is a lack of systematic and reproducible evaluation of
these models in the literature. In this work, we revisit both the pre-training
and evaluation of Arabic PLMs. In terms of pre-training, we explore improving
Arabic LMs from three perspectives: quality of the pre-training data, size of
the model, and incorporating character-level information. As a result, we
release three new Arabic BERT-style models ( JABER, Char-JABER, and SABER), and
two T5-style models (AT5S and AT5B). In terms of evaluation, we conduct a
comprehensive empirical study to systematically evaluate the performance of
existing state-of-the-art models on ALUE that is a leaderboard-powered
benchmark for Arabic NLU tasks, and on a subset of the ARGEN benchmark for
Arabic NLG tasks. We show that our models significantly outperform existing
Arabic PLMs and achieve a new state-of-the-art performance on discriminative
and generative Arabic NLU and NLG tasks. Our models and source code to
reproduce of results will be made available shortly.
- Abstract(参考訳): 近年、アラビア語のための事前訓練言語モデル(PLM)を開発するための活動が活発化している。
この研究は、アラビア語のNLUおよびNLGフィールドの進行を抑制する既存のアラビア語のPLMの2つの大きな問題に対処するものであり、第一に、既存のアラビア語のPLMは十分に探索されておらず、その事前訓練はより体系的なアプローチで大幅に改善することができる。
第2に,これらのモデルの体系的かつ再現可能な評価が文献に欠落している。
本研究では,アラビア語 PLM の事前学習と評価について再考する。
事前学習に関しては,事前学習データの品質,モデルのサイズ,文字レベル情報の導入という3つの観点から,アラビア語 LM の改善を検討する。
その結果、アラビア語のBERTスタイルモデル(JABER、Char-JABER、SABER)とT5スタイルモデル(AT5S、AT5B)を新たに3種類リリースした。
評価の面では、アラビアNLUタスクのリーダーボードを用いたベンチマークであるALUEと、アラビアNLGタスクのARGENベンチマークのサブセットを用いて、既存の最先端モデルの性能を体系的に評価するための総合的な実証的研究を行う。
我々のモデルは既存のアラビア PLM を著しく上回り、差別的で生成的なアラビア NLU および NLG タスクにおける新たな最先端性能を実現する。
結果の再現を行う当社のモデルとソースコードは,近く公開される予定です。
関連論文リスト
- ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [53.1913348687902]
アラビア語に対する最初のマルチタスク言語理解ベンチマークであるアラビアMMLUを提示する。
我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575の多重選択質問からなる。
35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文 参考訳(メタデータ) (2024-02-20T09:07:41Z) - On the importance of Data Scale in Pretraining Arabic Language Models [46.431706010614334]
アラビア事前訓練言語モデル(PLM)におけるデータの役割に関する総合的研究を行う。
我々は、大規模で高品質なアラビアコーパスを用いて、最先端のアラビアPLMの性能を再評価する。
我々の分析は、データの事前学習がパフォーマンスの主要な要因であり、他の要因を超えていることを強く示唆している。
論文 参考訳(メタデータ) (2024-01-15T15:11:15Z) - AceGPT, Localizing Large Language Models in Arabic [74.47331062873107]
本稿では,アラビア語を対象とする局所的大規模言語モデル(LLM)の開発に着目する。
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答などを含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文 参考訳(メタデータ) (2023-09-21T13:20:13Z) - Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open
Generative Large Language Models [57.76998376458017]
私たちはJaisとJais-chatを紹介します。これは、最先端のアラビア中心の新たな基礎であり、命令で調整されたオープンな生成型大言語モデル(LLMs)です。
モデルはGPT-3デコーダのみのアーキテクチャに基づいており、アラビア語と英語のテキストが混在している。
本稿では、トレーニング、チューニング、安全性アライメント、モデルの評価について詳述する。
論文 参考訳(メタデータ) (2023-08-30T17:07:17Z) - ChatGPT for Arabic Grammatical Error Correction [5.945320097465418]
大きな言語モデル(LLM)は、人間の指示に従うように微調整され、英語のNLPタスクにおいて重要な機能を示した。
本稿では,アラビア語の豊富な形態が原因で複雑化した課題である,アラビア語 GEC における微調整 LLM の指導能力について検討する。
命令の微調整モデルは,そのサイズによらず,かなり小型の完全微調整モデルに比べて性能が劣ることがわかった。
論文 参考訳(メタデータ) (2023-08-08T18:00:39Z) - Cross-Lingual NER for Financial Transaction Data in Low-Resource
Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。
我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。
わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文 参考訳(メタデータ) (2023-07-16T00:45:42Z) - JASMINE: Arabic GPT Models for Few-Shot Learning [20.311937206016445]
我々は、大規模で多様なデータセット(235GBのテキスト)で事前訓練された3億-6.7億のパラメータの大きさの、強力なアラビア自動回帰トランスフォーマー言語モデルスイートをリリースした。
我々はまた、潜在的な社会的バイアス、害、毒性をカバーし、アラビアの自己回帰モデルの自動評価と人的評価のための包括的なベンチマークを慎重に設計し、リリースする。
論文 参考訳(メタデータ) (2022-12-21T04:21:46Z) - JABER: Junior Arabic BERt [37.174723137868675]
我々は、アラビア語専用の事前訓練された言語モデルプロトタイプであるJABER,Junior Arabic BERtを紹介する。
我々は,既存のアラビア語NLUタスクの多種多様なセットにおいて,モデルの性能を体系的に評価するための実証的研究を行った。
論文 参考訳(メタデータ) (2021-12-08T15:19:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。