Fugu-MT 論文翻訳(概要): Sabiá-3 Technical Report

論文の概要: Sabiá-3 Technical Report

arxiv url: http://arxiv.org/abs/2410.12049v1
Date: Tue, 15 Oct 2024 20:37:34 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-17 13:44:30.344565
Title: Sabiá-3 Technical Report
Title（参考訳）: Sabiá-3テクニカルレポート
Authors: Hugo Abonizio, Thales Sales Almeida, Thiago Laitz, Roseval Malaquias Junior, Giovana Kerche Bonás, Rodrigo Nogueira, Ramon Pires,
Abstract要約: Sabi'a-3は、これまでのベストモデルであるSabi'a-2 Mediumと比較して大幅に改善されている。トークン当たりの3～4倍のコストで提供され、ドメインの専門化のメリットが強化されている。
参考スコア（独自算出の注目度）: 13.988302641026593
License:
Abstract: This report presents Sabi\'a-3, our new flagship language model trained on a large brazilian-centric corpus. Evaluations across diverse professional and academic benchmarks show a strong performance on Portuguese and Brazil-related tasks. Sabi\'a-3 shows large improvements in comparison to our previous best of model, Sabi\'a-2 Medium, especially in reasoning-intensive tasks. Notably, Sabi\'a-3's average performance matches frontier LLMs, while it is offered at a three to four times lower cost per token, reinforcing the benefits of domain specialization.
Abstract（参考訳）: 本報告では,ブラジル語中心の大規模コーパスをトレーニングした,新たなフラッグシップ言語モデルであるSabi\'a-3について述べる。さまざまな専門家や学術ベンチマークによる評価は、ポルトガルやブラジル関連のタスクで高いパフォーマンスを示している。 Sabi\'a-3は、特に推論集約タスクにおいて、これまでの最良モデルであるSabi\'a-2 Mediumと比較して大幅に改善されている。特に、Sabi\'a-3 の平均性能はフロンティア LLM と一致し、トークン当たりの3～4倍のコストで提供され、ドメインの特殊化の利点が強化されている。

関連論文リスト

Do Large Language Models Speak All Languages Equally? A Comparative Study in Low-Resource Settings [12.507989493130175]
大規模言語モデル (LLM) は自然言語処理 (NLP) に大きな関心を寄せている。近年の研究では、低リソース言語におけるLLMの限界が強調されている。英語からバングラ語、ヒンディー語、ウルドゥー語に翻訳することで、感情と憎悪の音声タスクのデータセットを提示する。
論文参考訳（メタデータ） (2024-08-05T05:09:23Z)
FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models [64.11333762954283]
本稿では,中国のLLMの基本知識能力を厳格に評価するための先駆的ベンチマークであるFoundaBenchを紹介する。本稿では、従来の評価手法とCircularEvalプロトコルの両方を用いて、モデル応答の潜在的なバイアスを軽減するため、FoundaBenchを用いた12の最先端LCMの広範な評価を行う。以上の結果から,中国のコーパスで事前学習したモデルの性能が向上し,モデル推論とメモリリコール能力の相違が明らかとなった。
論文参考訳（メタデータ） (2024-04-29T01:49:07Z)
Evaluation of Few-Shot Learning for Classification Tasks in the Polish Language [0.1534667887016089]
ポーランド語に固有の7つの異なる分類タスクからなる数ショットのベンチマークを導入する。各種の訓練済み商用およびオープンソースモデルを用いて, 微調整, 線形探索, SetFit, テキスト内学習 (ICL) の0と16ショットを比較した。 ICL は GPT-3.5 や GPT-4 などの商用モデルで最高の性能を達成している。
論文参考訳（メタデータ） (2024-04-27T08:53:58Z)
Benchmarking Large Language Models for Persian: A Preliminary Study Focusing on ChatGPT [4.574416868427695]
本稿では,ペルシア語に対する大規模言語モデル(LLM)の有効性について検討する。本稿では,ペルシャ語タスクにおけるLSMの総合的なベンチマーク研究について紹介する。
論文参考訳（メタデータ） (2024-04-03T02:12:29Z)
TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。本手法は,様々なベンチマーク上での局所モデル性能を向上させる。また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
論文参考訳（メタデータ） (2024-03-15T14:36:38Z)
Sabiá-2: A New Generation of Portuguese Large Language Models [13.549498237473223]
ポルトガル語のテキストで訓練された大規模言語モデルのファミリーであるSabi'a-2を紹介する。モデルはブラジルの大学へのエントリーレベルテストを含む様々な試験で評価される。サービア-2 ミディアムは、試験64点中23点でGPT-4の成績を上回り、試験64点中58点でGPT-3.5を上回った。
論文参考訳（メタデータ） (2024-03-14T21:44:48Z)
Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文参考訳（メタデータ） (2024-03-04T10:48:13Z)
SeaLLMs -- Large Language Models for Southeast Asia [76.50157503379086]
東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。 SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
論文参考訳（メタデータ） (2023-12-01T17:17:56Z)
L3 Ensembles: Lifelong Learning Approach for Ensemble of Foundational Language Models [15.726224465017596]
本稿では、未知のデータから意味のある表現を抽出し、構造化知識ベースを構築することに焦点を当てたアプローチを提案する。我々は,GLUE や SuperGLUE などのベンチマークを含む様々な NLP タスクの有効性を検証する実験を行った。提案したL3アンサンブル法は、細調整されたFLMと比較してモデル精度を4%36%向上させる。
論文参考訳（メタデータ） (2023-11-11T06:59:50Z)
Improving Translation Faithfulness of Large Language Models via Augmenting Instructions [89.76691340615848]
SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。 SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。 OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
論文参考訳（メタデータ） (2023-08-24T09:32:29Z)
Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages [48.28540903568198]
マルチリンガル性は低リソース環境において教師なしシステムの実現に不可欠であることを示す。我々は,5つの低リソース言語(グジャラート語,カザフ語,ネパール語,シンハラ語,トルコ語)について,英語方向と英語方向の単一モデルを提案する。我々は、これらの言語の現在最先端の教師なしベースラインを全て上回り、最大14.4BLEUのゲインを得る。
論文参考訳（メタデータ） (2020-09-23T15:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。