論文の概要: AceGPT, Localizing Large Language Models in Arabic

• arxiv url: http://arxiv.org/abs/2309.12053v5
• Date: Tue, 2 Apr 2024 06:04:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 13:02:27.848138
• Title: AceGPT, Localizing Large Language Models in Arabic
• Title（参考訳）: AceGPT, アラビア語における大規模言語モデルの局在化
• Authors: Huang Huang, Fei Yu, Jianqing Zhu, Xuening Sun, Hao Cheng, Dingjie Song, Zhihong Chen, Abdulmohsen Alharthi, Bang An, Juncai He, Ziche Liu, Zhiyi Zhang, Junying Chen, Jianquan Li, Benyou Wang, Lian Zhang, Ruoyu Sun, Xiang Wan, Haizhou Li, Jinchao Xu,
• Abstract要約: 本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
• 参考スコア（独自算出の注目度）: 73.39989503874634
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper is devoted to the development of a localized Large Language Model (LLM) specifically for Arabic, a language imbued with unique cultural characteristics inadequately addressed by current mainstream models. Significant concerns emerge when addressing cultural sensitivity and local values. To address this, the paper proposes a comprehensive solution that includes further pre-training with Arabic texts, Supervised Fine-Tuning (SFT) utilizing native Arabic instructions, and GPT-4 responses in Arabic, alongside Reinforcement Learning with AI Feedback (RLAIF) employing a reward model attuned to local culture and values. The goal is to cultivate culturally cognizant and value-aligned Arabic LLMs capable of accommodating the diverse, application-specific needs of Arabic-speaking communities. Comprehensive evaluations reveal that the resulting model, dubbed `AceGPT', sets the state-of-the-art standard for open Arabic LLMs across various benchmarks. Codes, data, and models are in https://github.com/FreedomIntelligence/AceGPT.
• Abstract（参考訳）: 本稿では,現在主流のモデルでは不十分な文化的特徴を付与したアラビア語を特化して,局所的な大規模言語モデル (LLM) の開発に着目する。 文化的感受性と地域価値に対処する際、重要な懸念が浮かび上がる。 そこで本研究では,アラビア語のテキストによる事前学習,ネイティブなアラビア語の指示を利用した監視ファインタニング(SFT),アラビア語のGPT-4応答,局所文化や価値観に合わせた報酬モデルを用いたAIフィードバックによる強化学習(RLAIF)などを含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。 包括的評価により、結果として得られたモデルは「AceGPT」と呼ばれ、様々なベンチマークでアラビア語 LLM の最先端標準を定めていることが明らかとなった。 コード、データ、モデルはhttps://github.com/FreedomIntelligence/AceGPTにある。

関連論文リスト

• A Survey of Large Language Models for Arabic Language and its Dialects [0.0]
  本調査では、アラビア語とその方言用に設計されたLarge Language Models(LLM)の概要について概説する。 Encoder-only、decoder-only、encoder-decoderモデルを含む主要なアーキテクチャと、事前トレーニングに使用されるデータセットをカバーしている。 この研究では、下流タスクのアーキテクチャとパフォーマンスを分析し、モノリンガル、バイリンガル、マルチリンガルのLLMについても検討している。
  論文  参考訳（メタデータ） (2024-10-26T17:48:20Z)
• AraDiCE: Benchmarks for Dialectal and Cultural Capabilities in LLMs [22.121471902726892]
  本稿ではアラビア方言と文化評価のベンチマークであるAraDiCEを紹介する。 湾岸地域、エジプト地域、レバント地域の文化意識を評価するために設計された最初のきめ細かいベンチマーク。 本研究で検証した方言翻訳モデルとベンチマークをリリースする。
  論文  参考訳（メタデータ） (2024-09-17T17:59:25Z)
• ALLaM: Large Language Models for Arabic and English [9.881560166505452]
  アラビア語技術(ALT)のエコシステムを支える一連の大規模言語モデルであるアラビア大言語モデル(ALaM: Arabic Large Language Model)を提示する。 我々の自己回帰デコーダのみのアーキテクチャモデルは、語彙拡張と事前訓練による第二言語習得が、原語(英語)で破滅的な忘れをすることなく、新しい言語(アラビア語)へのモデルを操る方法を示している。 人間の嗜好と広範囲なアライメントは,品質アライメントの低い大規模モデルと比較して言語モデルの性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-07-22T05:35:17Z)
• Bilingual Adaptation of Monolingual Foundation Models [48.859227944759986]
  単言語大言語モデル(LLM)を他の言語に適応させる効率的な手法を提案する。 2段階のアプローチは、語彙を拡張し、埋め込み行列のみをトレーニングすることから始まります。 アラビア語と英語のコーパスを混ぜて継続的に事前訓練することで、このモデルは英語の習熟度を維持しつつ、アラビア語の能力を獲得している。
  論文  参考訳（メタデータ） (2024-07-13T21:09:38Z)
• GemmAr: Enhancing LLMs Through Arabic Instruction-Tuning [0.0]
  InstAr-500kは、コンテンツの生成と収集によって生成された新しいアラビア文字の命令データセットである。 我々は,オープンソースのGemma-7Bモデルを下流タスクで微調整し,その機能を改善することにより,このデータセットを評価する。 複数の評価結果に基づき, アラビアNLPベンチマークにおいて, 微調整モデルにより優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-07-02T10:43:49Z)
• CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
  大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」 我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
  論文  参考訳（メタデータ） (2024-05-22T20:19:10Z)
• 101 Billion Arabic Words Dataset [0.0]
  本研究の目的は、アラブ世界のデータ不足に対処し、アラビア語モデルの開発を促進することである。 我々は大規模なデータマイニングプロジェクトを行い、Common Crawl WETファイルから大量のテキストを抽出した。 抽出されたデータは、データセットの完全性とユニーク性を保証するために革新的な技術を用いて、厳密なクリーニングと重複処理が行われた。
  論文  参考訳（メタデータ） (2024-04-29T13:15:03Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models [57.76998376458017]
  私たちはJaisとJais-chatを紹介します。これは、最先端のアラビア中心の新たな基礎であり、命令で調整されたオープンな生成型大言語モデル(LLMs)です。 モデルはGPT-3デコーダのみのアーキテクチャに基づいており、アラビア語と英語のテキストが混在している。 本稿では、トレーニング、チューニング、安全性アライメント、モデルの評価について詳述する。
  論文  参考訳（メタデータ） (2023-08-30T17:07:17Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。