論文の概要: Revisiting Pre-trained Language Models and their Evaluation for Arabic
Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2205.10687v1
- Date: Sat, 21 May 2022 22:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 09:04:38.058764
- Title: Revisiting Pre-trained Language Models and their Evaluation for Arabic
Natural Language Understanding
- Title（参考訳）: 事前学習型言語モデルの再検討とアラビア自然言語理解のための評価
- Authors: Abbas Ghaddar, Yimeng Wu, Sunyam Bagga, Ahmad Rashid, Khalil Bibi,
Mehdi Rezagholizadeh, Chao Xing, Yasheng Wang, Duan Xinyu, Zhefeng Wang,
Baoxing Huai, Xin Jiang, Qun Liu, Philippe Langlais
- Abstract要約: 既存のアラビアのPLMは十分に探索されておらず、その事前訓練は大幅に改善できる。
文献にはこれらのモデルの体系的かつ再現可能な評価が欠如している。
我々のモデルは既存のアラビア PLM を著しく上回り、差別的で生成的なアラビア NLU および NLG タスクにおける新たな最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 44.048072667378115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is a growing body of work in recent years to develop pre-trained
language models (PLMs) for the Arabic language. This work concerns addressing
two major problems in existing Arabic PLMs which constraint progress of the
Arabic NLU and NLG fields.First, existing Arabic PLMs are not well-explored and
their pre-trainig can be improved significantly using a more methodical
approach. Second, there is a lack of systematic and reproducible evaluation of
these models in the literature. In this work, we revisit both the pre-training
and evaluation of Arabic PLMs. In terms of pre-training, we explore improving
Arabic LMs from three perspectives: quality of the pre-training data, size of
the model, and incorporating character-level information. As a result, we
release three new Arabic BERT-style models ( JABER, Char-JABER, and SABER), and
two T5-style models (AT5S and AT5B). In terms of evaluation, we conduct a
comprehensive empirical study to systematically evaluate the performance of
existing state-of-the-art models on ALUE that is a leaderboard-powered
benchmark for Arabic NLU tasks, and on a subset of the ARGEN benchmark for
Arabic NLG tasks. We show that our models significantly outperform existing
Arabic PLMs and achieve a new state-of-the-art performance on discriminative
and generative Arabic NLU and NLG tasks. Our models and source code to
reproduce of results will be made available shortly.
- Abstract（参考訳）: 近年、アラビア語のための事前訓練言語モデル(PLM)を開発するための活動が活発化している。
この研究は、アラビア語のNLUおよびNLGフィールドの進行を抑制する既存のアラビア語のPLMの2つの大きな問題に対処するものであり、第一に、既存のアラビア語のPLMは十分に探索されておらず、その事前訓練はより体系的なアプローチで大幅に改善することができる。
第2に,これらのモデルの体系的かつ再現可能な評価が文献に欠落している。
本研究では,アラビア語 PLM の事前学習と評価について再考する。
事前学習に関しては,事前学習データの品質,モデルのサイズ,文字レベル情報の導入という3つの観点から,アラビア語 LM の改善を検討する。
その結果、アラビア語のBERTスタイルモデル(JABER、Char-JABER、SABER)とT5スタイルモデル(AT5S、AT5B)を新たに3種類リリースした。
評価の面では、アラビアNLUタスクのリーダーボードを用いたベンチマークであるALUEと、アラビアNLGタスクのARGENベンチマークのサブセットを用いて、既存の最先端モデルの性能を体系的に評価するための総合的な実証的研究を行う。
我々のモデルは既存のアラビア PLM を著しく上回り、差別的で生成的なアラビア NLU および NLG タスクにおける新たな最先端性能を実現する。
結果の再現を行う当社のモデルとソースコードは,近く公開される予定です。
関連論文リスト
- Can Large Language Models Predict the Outcome of Judicial Decisions? [0.0]
大規模言語モデル(LLM)は自然言語処理(NLP)において例外的な機能を示す。
LLaMA-3.2-3B や LLaMA-3.1-8B を含む最先端のオープンソース LLM を様々な構成でベンチマークする。
本結果は,タスク固有のコンテキストにおいて,細調整された小型モデルが大規模モデルに匹敵する性能を実現することを示す。
論文 参考訳（メタデータ） (2025-01-15T11:32:35Z) - Second Language (Arabic) Acquisition of LLMs via Progressive Vocabulary Expansion [55.27025066199226]
本稿では,アラブ世界における大規模言語モデル(LLM)の民主化の必要性に対処する。
アラビア語のLLMの実用的な目的の1つは、復号を高速化するトークン化器にアラビア語固有の語彙を使用することである。
第二言語(アラビア語)による人への獲得の間に語彙学習に触発されたAraLLaMAは、進歩的な語彙拡張を採用している。
論文 参考訳（メタデータ） (2024-12-16T19:29:06Z) - ALLaM: Large Language Models for Arabic and English [9.881560166505452]
アラビア語技術(ALT)のエコシステムを支える一連の大規模言語モデルであるアラビア大言語モデル(ALaM: Arabic Large Language Model)を提示する。
我々の自己回帰デコーダのみのアーキテクチャモデルは、語彙拡張と事前訓練による第二言語習得が、原語(英語)で破滅的な忘れをすることなく、新しい言語(アラビア語)へのモデルを操る方法を示している。
人間の嗜好と広範囲なアライメントは,品質アライメントの低い大規模モデルと比較して言語モデルの性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2024-07-22T05:35:17Z) - GemmAr: Enhancing LLMs Through Arabic Instruction-Tuning [0.0]
InstAr-500kは、コンテンツの生成と収集によって生成された新しいアラビア文字の命令データセットである。
我々は,オープンソースのGemma-7Bモデルを下流タスクで微調整し,その機能を改善することにより,このデータセットを評価する。
複数の評価結果に基づき, アラビアNLPベンチマークにおいて, 微調整モデルにより優れた性能が得られた。
論文 参考訳（メタデータ） (2024-07-02T10:43:49Z) - ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。
我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。
35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文 参考訳（メタデータ） (2024-02-20T09:07:41Z) - On the importance of Data Scale in Pretraining Arabic Language Models [46.431706010614334]
アラビア事前訓練言語モデル(PLM)におけるデータの役割に関する総合的研究を行う。
我々は、大規模で高品質なアラビアコーパスを用いて、最先端のアラビアPLMの性能を再評価する。
我々の分析は、データの事前学習がパフォーマンスの主要な要因であり、他の要因を超えていることを強く示唆している。
論文 参考訳（メタデータ） (2024-01-15T15:11:15Z) - AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文 参考訳（メタデータ） (2023-09-21T13:20:13Z) - Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open
Generative Large Language Models [57.76998376458017]
私たちはJaisとJais-chatを紹介します。これは、最先端のアラビア中心の新たな基礎であり、命令で調整されたオープンな生成型大言語モデル(LLMs)です。
モデルはGPT-3デコーダのみのアーキテクチャに基づいており、アラビア語と英語のテキストが混在している。
本稿では、トレーニング、チューニング、安全性アライメント、モデルの評価について詳述する。
論文 参考訳（メタデータ） (2023-08-30T17:07:17Z) - JABER: Junior Arabic BERt [37.174723137868675]
我々は、アラビア語専用の事前訓練された言語モデルプロトタイプであるJABER,Junior Arabic BERtを紹介する。
我々は,既存のアラビア語NLUタスクの多種多様なセットにおいて,モデルの性能を体系的に評価するための実証的研究を行った。
論文 参考訳（メタデータ） (2021-12-08T15:19:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。