論文の概要: Sabiá-2: A New Generation of Portuguese Large Language Models

• arxiv url: http://arxiv.org/abs/2403.09887v1
• Date: Thu, 14 Mar 2024 21:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 21:05:51.162327
• Title: Sabiá-2: A New Generation of Portuguese Large Language Models
• Title（参考訳）: Sabiá-2: ポルトガルの大規模言語モデルの新世代
• Authors: Thales Sales Almeida, Hugo Abonizio, Rodrigo Nogueira, Ramon Pires,
• Abstract要約: ポルトガル語のテキストで訓練された大規模言語モデルのファミリーであるSabi'a-2を紹介する。 モデルはブラジルの大学へのエントリーレベルテストを含む様々な試験で評価される。 サービア-2 ミディアムは、試験64点中23点でGPT-4の成績を上回り、試験64点中58点でGPT-3.5を上回った。
• 参考スコア（独自算出の注目度）: 13.549498237473223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Sabi\'a-2, a family of large language models trained on Portuguese texts. The models are evaluated on a diverse range of exams, including entry-level tests for Brazilian universities, professional certification exams, and graduate-level exams for various disciplines such as accounting, economics, engineering, law and medicine. Our results reveal that our best model so far, Sabi\'a-2 Medium, matches or surpasses GPT-4's performance in 23 out of 64 exams and outperforms GPT-3.5 in 58 out of 64 exams. Notably, specialization has a significant impact on a model's performance without the need to increase its size, allowing us to offer Sabi\'a-2 Medium at a price per token that is 10 times cheaper than GPT-4. Finally, we identified that math and coding are key abilities that need improvement.
• Abstract（参考訳）: ポルトガル語のテキストで訓練された大規模言語モデルのファミリーであるSabi\'a-2を紹介する。 モデルは、ブラジルの大学へのエントリーレベル試験、専門認定試験、会計学、経済学、工学、法学、医学などの様々な分野の大学院レベルの試験など、様々な試験で評価される。 以上の結果から,これまでの最良モデルであるSabi\'a-2 Mediumは,64点中23点においてGPT-4の成績と一致し,64点中58点においてGPT-3.5を上回っていることが明らかとなった。 特に、特化はサイズを拡大することなくモデルの性能に大きな影響を与えるため、GPT-4の10倍安いトークンあたりの価格でSabi\'a-2 Mediumを提供することができます。 最後に、我々は数学とコーディングが改善を必要とする重要な能力であることを突き止めた。

関連論文リスト

• Sabiá-3 Technical Report [13.988302641026593]
  Sabi'a-3は、これまでのベストモデルであるSabi'a-2 Mediumと比較して大幅に改善されている。 トークン当たりの3～4倍のコストで提供され、ドメインの専門化のメリットが強化されている。
  論文  参考訳（メタデータ） (2024-10-15T20:37:34Z)
• GPT-4 passes most of the 297 written Polish Board Certification Examinations [0.5461938536945723]
  本研究では,ポーランド委員会認定試験(Pa'nstwowy Egzamin Specjalizacyjny, PES)における3つの生成事前学習変圧器(GPT)モデルの性能評価を行った。 GPTモデルは、特定の専門分野に関する試験において卓越した性能を示しながら、他の分野では完全に失敗するなど、大きく変化した。
  論文  参考訳（メタデータ） (2024-04-29T09:08:22Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
  アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine [89.46836590149883]
  本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。 イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。 Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-28T03:16:12Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Performance of Large Language Models in a Computer Science Degree Program [0.5330240017302619]
  本稿では,応用科学大学大学院コンピュータサイエンス学位課程における大規模言語モデルの性能について述べる。 講義資料,運動課題,過去の試験をモデルに促すことで,各分野のコンピュータサイエンス分野にまたがってその習熟度を評価することを目指す。 We found that ChatGPT-3.5 averageed 79.9% of the total score in 10 test module, BingAI achieved 68.4%, and LLaMa, in the 6600 billion parameter variant, 20%。
  論文  参考訳（メタデータ） (2023-07-24T14:17:00Z)
• AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models [122.63704560157909]
  我々は,人間中心の標準化試験の文脈で基礎モデルを評価するために設計された新しいベンチマークであるAGIEvalを紹介する。 GPT-4, ChatGPT, Text-Davinci-003 など,最先端基盤モデルの評価を行った。 GPT-4はSAT、LSAT、数学の競争で平均的な人事成績を上回り、SAT Mathテストでは95%の精度で、中国国立大学入試では92.5%の精度で合格している。
  論文  参考訳（メタデータ） (2023-04-13T09:39:30Z)
• Evaluating GPT-3.5 and GPT-4 Models on Brazilian University Admission Exams [4.2706617195518195]
  本研究では, 言語モデル (LM) の高精細度検定における能力について検討する。 この試験は、質問が複数の分野の知識にまたがる可能性があるため、LMにとって難しい課題となる。 最高性能のGPT-4は87%の精度を達成し、GPT-3.5を11ポイント上回った。
  論文  参考訳（メタデータ） (2023-03-29T20:10:13Z)
• GPT-4 Technical Report [116.90398195245983]
  GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。 試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-03-15T17:15:04Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。