論文の概要: AceGPT, Localizing Large Language Models in Arabic
- arxiv url: http://arxiv.org/abs/2309.12053v4
- Date: Tue, 17 Oct 2023 13:10:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 20:26:23.287004
- Title: AceGPT, Localizing Large Language Models in Arabic
- Title(参考訳): AceGPT, アラビア語における大規模言語モデル
- Authors: Huang Huang, Fei Yu, Jianqing Zhu, Xuening Sun, Hao Cheng, Dingjie
Song, Zhihong Chen, Abdulmohsen Alharthi, Bang An, Juncai He, Ziche Liu,
Zhiyi Zhang, Junying Chen, Jianquan Li, Benyou Wang, Lian Zhang, Ruoyu Sun,
Xiang Wan, Haizhou Li, Jinchao Xu
- Abstract要約: 本稿では,アラビア語を対象とする局所的大規模言語モデル(LLM)の開発に着目する。
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答などを含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
- 参考スコア(独自算出の注目度): 74.47331062873107
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper is devoted to the development of a localized Large Language Model
(LLM) specifically for Arabic, a language imbued with unique cultural
characteristics inadequately addressed by current mainstream models.
Significant concerns emerge when addressing cultural sensitivity and local
values. To address this, the paper proposes a comprehensive solution that
includes further pre-training with Arabic texts, Supervised Fine-Tuning (SFT)
utilizing native Arabic instructions, and GPT-4 responses in Arabic, alongside
Reinforcement Learning with AI Feedback (RLAIF) employing a reward model
attuned to local culture and values. The goal is to cultivate culturally
cognizant and value-aligned Arabic LLMs capable of accommodating the diverse,
application-specific needs of Arabic-speaking communities. Comprehensive
evaluations reveal that the resulting model, dubbed 'AceGPT', sets the
state-of-the-art standard for open Arabic LLMs across various benchmarks,
including the instruction-following benchmark (i.e., Arabic Vicuna-80 and
Arabic AlpacaEval), knowledge benchmark (i.e., Arabic MMLU and EXAMs), and the
newly introduced Arabic Cultural and Value Alignment benchmark. Notably, AceGPT
outperforms Turbo in the popular Vicuna-80 benchmark when evaluated with GPT-4,
despite the benchmark's limited scale. Codes, data, and models are in
https://github.com/FreedomIntelligence/AceGPT.
- Abstract(参考訳): 本稿では,現在主流のモデルでは不十分な文化的特徴を付与したアラビア語を特化して,局所的な大規模言語モデル (LLM) の開発に着目する。
文化的感受性と地域価値に対処する際、重要な懸念が浮かび上がる。
そこで本稿では,アラビア語テキストの事前学習,ネイティブアラビア語命令を用いた教師付き微調整(sft),アラビア語でのgpt-4応答,地域文化や価値観に応じた報酬モデルを用いたaiフィードバックによる強化学習(rlaif)などを含む包括的解法を提案する。
目標は、アラビア語話者コミュニティの多様なアプリケーション固有のニーズに適応できる、文化的に認識され、価値あるアラビア語のllmを育成することである。
総合的な評価によると、結果として得られたモデルは「AceGPT」と呼ばれ、命令追従ベンチマーク(アラビア語 Vicuna-80 と アラビア語 AlpacaEval)、知識ベンチマーク(アラビア語 MMLU と EXAMs)、新しく導入されたアラビア文化と価値アライメントベンチマークなど、様々なベンチマークで、オープンアラビア LLM の最先端標準を定めている。
特にacegptは、gpt-4で評価された場合の人気のあるvicuna-80ベンチマークでturboよりも優れている。
コード、データ、モデルはhttps://github.com/FreedomIntelligence/AceGPTにある。
関連論文リスト
- ArabianGPT: Native Arabic GPT-based Large Language Model [2.8623940003518156]
本稿ではアラビアンLLMスイート内の一連のトランスフォーマーモデルであるアラビアンGPTを提案する。
これらのモデルに不可欠なアラナイザー・トークンーザはアラビア文字のユニークな形態的側面に対処する。
感情分析では、微調整されたアラビアのGPT-0.1Bモデルは95%の顕著な精度を達成し、ベースモデルの56%から大幅に増加した。
論文 参考訳(メタデータ) (2024-02-23T13:32:47Z) - OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large
Language Models [59.54423478596468]
OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。
各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。
具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
論文 参考訳(メタデータ) (2024-02-21T04:42:41Z) - ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [53.1913348687902]
アラビア語に対する最初のマルチタスク言語理解ベンチマークであるアラビアMMLUを提示する。
我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575の多重選択質問からなる。
35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文 参考訳(メタデータ) (2024-02-20T09:07:41Z) - On the importance of Data Scale in Pretraining Arabic Language Models [46.431706010614334]
アラビア事前訓練言語モデル(PLM)におけるデータの役割に関する総合的研究を行う。
我々は、大規模で高品質なアラビアコーパスを用いて、最先端のアラビアPLMの性能を再評価する。
我々の分析は、データの事前学習がパフォーマンスの主要な要因であり、他の要因を超えていることを強く示唆している。
論文 参考訳(メタデータ) (2024-01-15T15:11:15Z) - Analyzing Multilingual Competency of LLMs in Multi-Turn Instruction
Following: A Case Study of Arabic [1.0878040851638]
GPT-4を英語とアラビア語の問合せのための一様評価器として使用し、様々なオープンエンドタスクにおけるLCMの性能を評価し比較する。
マルチリンガルおよびマルチターンデータセットを用いた微調整ベースモデルは、スクラッチからトレーニングされたマルチリンガルデータと競合する可能性がある。
論文 参考訳(メタデータ) (2023-10-23T11:40:04Z) - Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open
Generative Large Language Models [57.76998376458017]
私たちはJaisとJais-chatを紹介します。これは、最先端のアラビア中心の新たな基礎であり、命令で調整されたオープンな生成型大言語モデル(LLMs)です。
モデルはGPT-3デコーダのみのアーキテクチャに基づいており、アラビア語と英語のテキストが混在している。
本稿では、トレーニング、チューニング、安全性アライメント、モデルの評価について詳述する。
論文 参考訳(メタデータ) (2023-08-30T17:07:17Z) - ORCA: A Challenging Benchmark for Arabic Language Understanding [8.9379057739817]
ORCAはアラビア語理解評価のための公開ベンチマークである。
アラビア語NLUの現在の進歩を測定するため、ORCAを用いて18の多言語モデルとアラビア語モデルを比較した。
論文 参考訳(メタデータ) (2022-12-21T04:35:43Z) - Revisiting Pre-trained Language Models and their Evaluation for Arabic
Natural Language Understanding [44.048072667378115]
既存のアラビアのPLMは十分に探索されておらず、その事前訓練は大幅に改善できる。
文献にはこれらのモデルの体系的かつ再現可能な評価が欠如している。
我々のモデルは既存のアラビア PLM を著しく上回り、差別的で生成的なアラビア NLU および NLG タスクにおける新たな最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-21T22:38:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。