論文の概要: JABER: Junior Arabic BERt

• arxiv url: http://arxiv.org/abs/2112.04329v1
• Date: Wed, 8 Dec 2021 15:19:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 18:05:02.316243
• Title: JABER: Junior Arabic BERt
• Title（参考訳）: JABER: ジュニアアラビア・ベルト
• Authors: Abbas Ghaddar, Yimeng Wu, Ahmad Rashid, Khalil Bibi, Mehdi Rezagholizadeh, Chao Xing, Yasheng Wang, Duan Xinyu, Zhefeng Wang, Baoxing Huai, Xin Jiang, Qun Liu and Philippe Langlais
• Abstract要約: 我々は、アラビア語専用の事前訓練された言語モデルプロトタイプであるJABER,Junior Arabic BERtを紹介する。 我々は,既存のアラビア語NLUタスクの多種多様なセットにおいて,モデルの性能を体系的に評価するための実証的研究を行った。
• 参考スコア（独自算出の注目度）: 37.174723137868675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-specific pre-trained models have proven to be more accurate than multilingual ones in a monolingual evaluation setting, Arabic is no exception. However, we found that previously released Arabic BERT models were significantly under-trained. In this technical report, we present JABER, Junior Arabic BERt, our pretrained language model prototype dedicated for Arabic. We conduct an empirical study to systematically evaluate the performance of models across a diverse set of existing Arabic NLU tasks. Experimental results show that JABER achieves the state-of-the-art performances on ALUE, a new benchmark for Arabic Language Understanding Evaluation, as well as on a well-established NER benchmark
• Abstract（参考訳）: 言語固有の事前訓練されたモデルは、単言語評価設定において多言語モデルよりも正確であることが証明されており、アラビア語は例外ではない。 しかし、以前リリースされたアラビアBERTモデルは、かなり訓練を受けていないことがわかった。 本報告では,我々のアラビア語専用言語モデルのプロトタイプであるjaber, junior arabic bertについて述べる。 我々は,既存のアラビア語NLUタスクの多様なセットにおいて,モデルの性能を体系的に評価するための実証的研究を行った。 アラビア語理解評価のための新しいベンチマークであるALUEと、確立されたNERベンチマークにおいて、JABERが最先端のパフォーマンスを達成することを示す実験結果が得られた。

関連論文リスト

• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• On the importance of Data Scale in Pretraining Arabic Language Models [46.431706010614334]
  アラビア事前訓練言語モデル(PLM)におけるデータの役割に関する総合的研究を行う。 我々は、大規模で高品質なアラビアコーパスを用いて、最先端のアラビアPLMの性能を再評価する。 我々の分析は、データの事前学習がパフォーマンスの主要な要因であり、他の要因を超えていることを強く示唆している。
  論文  参考訳（メタデータ） (2024-01-15T15:11:15Z)
• Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction Following: A Case Study of Arabic [1.0878040851638]
  GPT-4を英語とアラビア語の問合せのための一様評価器として使用し、様々なオープンエンドタスクにおけるLCMの性能を評価し比較する。 マルチリンガルおよびマルチターンデータセットを用いた微調整ベースモデルは、スクラッチからトレーニングされたマルチリンガルデータと競合する可能性がある。
  論文  参考訳（メタデータ） (2023-10-23T11:40:04Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models [57.76998376458017]
  私たちはJaisとJais-chatを紹介します。これは、最先端のアラビア中心の新たな基礎であり、命令で調整されたオープンな生成型大言語モデル(LLMs)です。 モデルはGPT-3デコーダのみのアーキテクチャに基づいており、アラビア語と英語のテキストが混在している。 本稿では、トレーニング、チューニング、安全性アライメント、モデルの評価について詳述する。
  論文  参考訳（メタデータ） (2023-08-30T17:07:17Z)
• JASMINE: Arabic GPT Models for Few-Shot Learning [20.311937206016445]
  我々は、大規模で多様なデータセット(235GBのテキスト)で事前訓練された3億-6.7億のパラメータの大きさの、強力なアラビア自動回帰トランスフォーマー言語モデルスイートをリリースした。 我々はまた、潜在的な社会的バイアス、害、毒性をカバーし、アラビアの自己回帰モデルの自動評価と人的評価のための包括的なベンチマークを慎重に設計し、リリースする。
  論文  参考訳（メタデータ） (2022-12-21T04:21:46Z)
• Revisiting Pre-trained Language Models and their Evaluation for Arabic Natural Language Understanding [44.048072667378115]
  既存のアラビアのPLMは十分に探索されておらず、その事前訓練は大幅に改善できる。 文献にはこれらのモデルの体系的かつ再現可能な評価が欠如している。 我々のモデルは既存のアラビア PLM を著しく上回り、差別的で生成的なアラビア NLU および NLG タスクにおける新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-21T22:38:19Z)
• AraBERT: Transformer-based Model for Arabic Language Understanding [0.0]
  我々は、BERTが英語で行ったのと同じ成功を達成するために、特にアラビア語のためにBERTを事前訓練した。 その結果, AraBERTはアラビアのほとんどのNLPタスクで最先端の性能を達成した。
  論文  参考訳（メタデータ） (2020-02-28T22:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。