Fugu-MT 論文翻訳(概要): JASMINE: Arabic GPT Models for Few-Shot Learning

論文の概要: JASMINE: Arabic GPT Models for Few-Shot Learning

arxiv url: http://arxiv.org/abs/2212.10755v2
Date: Tue, 24 Oct 2023 21:03:30 GMT
ステータス: 処理完了
システム内更新日: 2023-10-28 05:52:39.407200
Title: JASMINE: Arabic GPT Models for Few-Shot Learning
Title（参考訳）: JASMINE:Few-Shot LearningのためのアラビアGPTモデル
Authors: El Moatez Billah Nagoudi, Muhammad Abdul-Mageed, AbdelRahim Elmadany, Alcides Alcoba Inciarte, Md Tawkat Islam Khondaker
Abstract要約: 我々は、大規模で多様なデータセット(235GBのテキスト)で事前訓練された3億-6.7億のパラメータの大きさの、強力なアラビア自動回帰トランスフォーマー言語モデルスイートをリリースした。我々はまた、潜在的な社会的バイアス、害、毒性をカバーし、アラビアの自己回帰モデルの自動評価と人的評価のための包括的なベンチマークを慎重に設計し、リリースする。
参考スコア（独自算出の注目度）: 20.311937206016445
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Scholarship on generative pretraining (GPT) remains acutely Anglocentric, leaving serious gaps in our understanding of the whole class of autoregressive models. For example, we have little knowledge about the potential of these models and their societal impacts in diverse linguistic and cultural settings. We alleviate this issue for Arabic, a wide collection of languages and dialectal varieties with more than 400 million population, by introducing JASMINE. JASMINE is a suite of powerful Arabic autoregressive Transformer language models ranging in size between 300 million-6.7 billion parameters pretrained on a large and diverse dataset (~ 235 GB of text). We also carefully design and release a comprehensive benchmark for both automated and human evaluation of Arabic autoregressive models, with coverage of potential social biases, harms, and toxicity. Using our novel benchmark, we evaluate JASMINE extensively showing powerful performance intrinsically as well as in few-shot learning on a wide range of NLP tasks. We aim to responsibly release our models and evaluation benchmark with interested researchers, along with code for experimenting with them.
Abstract（参考訳）: 生成前訓練(GPT)に関する学術研究は、我々の自己回帰モデル全体の理解に深刻なギャップを残している。例えば、これらのモデルの可能性や、多様な言語的・文化的環境における社会的影響についてはほとんど知識がない。我々は、ジャスミンを導入することで、人口4億人を超える幅広い言語と方言のコレクションであるアラビア語のこの問題を緩和する。 JASMINEは、大きく多様なデータセット(約235GBのテキスト)で事前訓練された3億-6.7億のパラメータの大きさの強力なアラビア語の自動回帰トランスフォーマー言語モデルのスイートである。また,アラビア語自己回帰モデルの自動評価および人間評価のための包括的なベンチマークを,社会的バイアス,有害性,毒性の可能性を網羅して,慎重に設計し,公開する。新たなベンチマークを用いて,JASMINEは多種多様なNLPタスクにおける数ショット学習と同様に,本質的に強力な性能を示す。我々は、興味のある研究者とモデルと評価ベンチマークを責任を持ってリリースし、実験するためのコードを提供することを目標としています。

関連論文リスト

ALLaM: Large Language Models for Arabic and English [9.881560166505452]
アラビア語技術(ALT)のエコシステムを支える一連の大規模言語モデルであるアラビア大言語モデル(ALaM: Arabic Large Language Model)を提示する。我々の自己回帰デコーダのみのアーキテクチャモデルは、語彙拡張と事前訓練による第二言語習得が、原語(英語)で破滅的な忘れをすることなく、新しい言語(アラビア語)へのモデルを操る方法を示している。人間の嗜好と広範囲なアライメントは,品質アライメントの低い大規模モデルと比較して言語モデルの性能を著しく向上させることができることを示す。
論文参考訳（メタデータ） (2024-07-22T05:35:17Z)
To Distill or Not to Distill? On the Robustness of Robust Knowledge Distillation [16.655022975392992]
現在の多言語ASRモデルは計算集約的であり、適切な総合的な評価を欠いている。我々は、大きな教師モデルからより効率的なより小さな学生の変種に知識を蒸留する。最もよく蒸留されたモデル全体の性能(45.0$% WER)は、SoTAモデルの2倍の大きさである。
論文参考訳（メタデータ） (2024-06-06T21:11:53Z)
ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文参考訳（メタデータ） (2024-02-20T09:07:41Z)
Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models [57.76998376458017]
私たちはJaisとJais-chatを紹介します。これは、最先端のアラビア中心の新たな基礎であり、命令で調整されたオープンな生成型大言語モデル(LLMs)です。モデルはGPT-3デコーダのみのアーキテクチャに基づいており、アラビア語と英語のテキストが混在している。本稿では、トレーニング、チューニング、安全性アライメント、モデルの評価について詳述する。
論文参考訳（メタデータ） (2023-08-30T17:07:17Z)
Revisiting Pre-trained Language Models and their Evaluation for Arabic Natural Language Understanding [44.048072667378115]
既存のアラビアのPLMは十分に探索されておらず、その事前訓練は大幅に改善できる。文献にはこれらのモデルの体系的かつ再現可能な評価が欠如している。我々のモデルは既存のアラビア PLM を著しく上回り、差別的で生成的なアラビア NLU および NLG タスクにおける新たな最先端性能を実現する。
論文参考訳（メタデータ） (2022-05-21T22:38:19Z)
PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文参考訳（メタデータ） (2022-04-05T16:11:45Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
論文参考訳（メタデータ） (2021-12-08T19:41:47Z)
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文参考訳（メタデータ） (2021-11-04T12:59:55Z)
Neural Models for Offensive Language Detection [0.0]
攻撃的言語検出は、成長を続ける自然言語処理(NLP)アプリケーションである。このような有害なコンテンツと戦うために、さまざまな機械学習モデルの改善と比較に貢献することが、この論文の重要な、挑戦的な目標である、と私たちは信じています。
論文参考訳（メタデータ） (2021-05-30T13:02:45Z)
AraGPT2: Pre-Trained Transformer for Arabic Language Generation [0.0]
我々は,インターネットテキストとニュース記事の巨大なアラビア語コーパスをスクラッチから学習した,最初の先進アラビア語言語生成モデルであるalagpt2を開発した。当社の最大のモデルであるAraGPT2-megaは、1.46億のパラメータを持ち、アラビア言語モデルとして最大です。テキスト生成では、wikipediaの記事に29.8のパープレキシティを達成する。
論文参考訳（メタデータ） (2020-12-31T09:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。