論文の概要: Gl\'orIA - A Generative and Open Large Language Model for Portuguese

• arxiv url: http://arxiv.org/abs/2402.12969v1
• Date: Tue, 20 Feb 2024 12:36:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 15:18:44.394926
• Title: Gl\'orIA - A Generative and Open Large Language Model for Portuguese
• Title（参考訳）: gl\'oria - ポルトガル語のジェネレーティブでオープンな大言語モデル
• Authors: Ricardo Lopes and Jo\~ao Magalh\~aes and David Semedo
• Abstract要約: ポルトガルの堅牢なデコーダLLMであるGl'orIAを紹介する。 Gl'orIAを事前訓練するために,様々なソースから35億個のトークンからなる包括的PT-PTテキストコーパスを組み立てた。 Gl'orIAは、言語モデリングにおいて、既存のオープンPTデコーダモデルよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.782288068552145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Significant strides have been made in natural language tasks, largely attributed to the emergence of powerful large language models (LLMs). These models, pre-trained on extensive and diverse corpora, have become increasingly capable of comprehending the intricacies of language. Despite the abundance of LLMs for many high-resource languages, the availability of such models remains limited for European Portuguese. We introduce Gl\'orIA, a robust European Portuguese decoder LLM. To pre-train Gl\'orIA, we assembled a comprehensive PT-PT text corpus comprising 35 billion tokens from various sources. We present our pre-training methodology, followed by an assessment of the model's effectiveness on multiple downstream tasks. Additionally, to evaluate our models' language modeling capabilities, we introduce CALAME-PT (Context-Aware LAnguage Modeling Evaluation for Portuguese), the first Portuguese zero-shot language-modeling benchmark. Evaluation shows that Gl\'orIA significantly outperforms existing open PT decoder models in language modeling and that it can generate sound, knowledge-rich, and coherent PT-PT text. The model also exhibits strong potential for various downstream tasks.
• Abstract（参考訳）: 自然言語処理における重要な進歩は、主に強力な大規模言語モデル(LLM)の出現によるものである。 これらのモデルは、広範囲で多様なコーパスで事前訓練され、言語の複雑さを理解する能力が高まっている。 多くの高リソース言語向けのLLMが豊富にあるにもかかわらず、そのようなモデルは欧州ポルトガル語でのみ利用可能である。 ポルトガルの堅牢なデコーダLLMであるGl\'orIAを紹介する。 Gl\'orIAを事前訓練するために,様々なソースから35億個のトークンからなる総合的なPT-PTテキストコーパスを組み立てた。 本稿では,事前学習手法を提案するとともに,複数の下流タスクにおけるモデルの有効性を評価する。 さらに,我々のモデルの言語モデリング能力を評価するために,ポルトガル初のゼロショット言語モデリングベンチマークであるcalame-pt(context-aware language modeling evaluation for portuguese)を導入する。 評価の結果、gl\'oriaは言語モデリングにおいて既存のオープンptデコーダモデルを大きく上回り、音質、知識豊富な、一貫性のあるpt-ptテキストを生成することができる。 このモデルは、下流の様々なタスクに強い可能性を示す。

関連論文リスト

• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• A Systematic Evaluation of Large Language Models for Natural Language Generation Tasks [30.54635848057259]
  本稿では、よく知られた高性能な大規模言語モデル(LLM)の包括的な評価を行う。 対話生成とテキスト要約を含む英語と中国語のデータセットを選択する。 本研究は, 詳細な分析を伴って, 両自動検査の結果を報告する。
  論文  参考訳（メタデータ） (2024-05-16T16:56:54Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Sabi\'a: Portuguese Large Language Models [14.801853435122908]
  対象言語における単言語事前学習は,すでに多種多様なコーパスで訓練されているモデルを大幅に改善することを示した。 ポルトガルの14のデータセットからなるスイートであるPoetaに関するわずかな評価によると、我々のモデルは、英語と多言語で比較すると、かなり差がある。
  論文  参考訳（メタデータ） (2023-04-16T20:11:19Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Generalizing Multimodal Pre-training into Multilingual via Language Acquisition [54.69707237195554]
  英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。 この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。 単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-29T08:53:22Z)
• Transformers and Transfer Learning for Improving Portuguese Semantic Role Labeling [2.9005223064604078]
  低リソース言語、特にポルトガル語の場合、現在利用可能なSRLモデルは、トレーニングデータの不足によって妨げられます。 トレーニング済みのBERTモデル,線形層,ソフトマックス,ビタビ復号のみを用いたモデルアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-01-04T19:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。