Fugu-MT 論文翻訳(概要): Sabiá-3 Technical Report

論文の概要: Sabiá-3 Technical Report

arxiv url: http://arxiv.org/abs/2410.12049v2
Date: Fri, 29 Nov 2024 19:00:58 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-03 16:56:39.963222
Title: Sabiá-3 Technical Report
Title（参考訳）: Sabiá-3テクニカルレポート
Authors: Hugo Abonizio, Thales Sales Almeida, Thiago Laitz, Roseval Malaquias Junior, Giovana Kerche Bonás, Rodrigo Nogueira, Ramon Pires,
Abstract要約: 今回のレポートでは、新たなフラッグシップ言語モデルであるSabi'a-3と、より費用対効果の高い兄弟であるSabiazinho-3を紹介します。 Sabia-3は、特に推論集約的なタスクにおいて、これまでの最良モデルであるSabia-2 Mediumと比較して大幅に改善されている。 Sabia-3 の平均性能はフロンティア LLM と一致し、トークン当たりの3倍から4倍のコストで提供される。
参考スコア（独自算出の注目度）: 13.988302641026593
License:
Abstract: This report presents Sabi\'a-3, our new flagship language model, and Sabiazinho-3, a more cost-effective sibling. The models were trained on a large brazilian-centric corpus. Evaluations across diverse professional and academic benchmarks show a strong performance on Portuguese and Brazil-related tasks. Sabi\'a-3 shows large improvements in comparison to our previous best of model, Sabia-2 Medium, especially in reasoning-intensive tasks. Notably, Sabi\'a-3's average performance matches frontier LLMs, while it is offered at a three to four times lower cost per token, reinforcing the benefits of domain specialization.
Abstract（参考訳）: 今回のレポートでは、新たなフラッグシップ言語モデルであるSabi\'a-3と、より費用対効果の高い兄弟であるSabiazinho-3を紹介します。モデルは大きなブラジル中心のコーパスで訓練された。さまざまな専門家や学術ベンチマークによる評価は、ポルトガルやブラジル関連のタスクにおいて高いパフォーマンスを示している。 Sabi\'a-3は、特に推論集約的なタスクにおいて、これまでの最良モデルであるSabia-2 Mediumと比較して大幅に改善されている。特に、Sabi\'a-3 の平均性能はフロンティア LLM と一致し、トークン当たりの3～4倍のコストで提供され、ドメインの特殊化の利点が強化されている。

関連論文リスト

Test-Time Code-Switching for Cross-lingual Aspect Sentiment Triplet Extraction [12.269762062755492]
本稿では,バイリンガル学習フェーズと単言語テストタイム予測のギャップを埋めるために,TT-CSW(Test-Time Code-SWitching)フレームワークを提案する。訓練中は、バイリンガルコード切替トレーニングデータに基づいて生成モデルを構築し、バイリンガル入力のためのバイリンガルASTE三重項を生成する。テスト段階では、テスト時間拡張のためにアライメントベースのコードスイッチング技術を使用します。
論文参考訳（メタデータ） (2025-01-24T00:00:51Z)
Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
論文参考訳（メタデータ） (2024-04-02T16:25:30Z)
Juru: Legal Brazilian Large Language Model from Reputable Sources [9.837135712999471]
ドメインの特殊化と高品質なデータによる事前訓練という2つの戦略がこの問題に対処するために現れている。我々のモデルであるJuruは、事前学習データの少ない量でドメイン特殊化の利点を実証する。本研究は,事前学習データ選択が大規模言語モデルの性能向上に寄与することを示す科学的根拠の増大に寄与する。
論文参考訳（メタデータ） (2024-03-26T22:54:12Z)
TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。本手法は,様々なベンチマーク上での局所モデル性能を向上させる。また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
論文参考訳（メタデータ） (2024-03-15T14:36:38Z)
Sabiá-2: A New Generation of Portuguese Large Language Models [13.549498237473223]
ポルトガル語のテキストで訓練された大規模言語モデルのファミリーであるSabi'a-2を紹介する。モデルはブラジルの大学へのエントリーレベルテストを含む様々な試験で評価される。サービア-2 ミディアムは、試験64点中23点でGPT-4の成績を上回り、試験64点中58点でGPT-3.5を上回った。
論文参考訳（メタデータ） (2024-03-14T21:44:48Z)
SeaLLMs -- Large Language Models for Southeast Asia [76.50157503379086]
東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。 SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
論文参考訳（メタデータ） (2023-12-01T17:17:56Z)
Zero-Shot Cross-Lingual Sentiment Classification under Distribution Shift: an Exploratory Study [11.299638372051795]
我々は、ゼロショットの言語間転送設定において、out-of-distriion(OOD)テストデータへの一般化について研究する。我々は、トレインデータとテストデータ間の言語とドメインのシフトによるパフォーマンスへの影響を分析する。我々は,コストのかかるアノテーションプロセスを避けるため,OOD一般化のための2つの新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-11-11T11:56:56Z)
L3 Ensembles: Lifelong Learning Approach for Ensemble of Foundational Language Models [15.726224465017596]
本稿では、未知のデータから意味のある表現を抽出し、構造化知識ベースを構築することに焦点を当てたアプローチを提案する。我々は,GLUE や SuperGLUE などのベンチマークを含む様々な NLP タスクの有効性を検証する実験を行った。提案したL3アンサンブル法は、細調整されたFLMと比較してモデル精度を4%36%向上させる。
論文参考訳（メタデータ） (2023-11-11T06:59:50Z)
NeuroComparatives: Neuro-Symbolic Distillation of Comparative Knowledge [48.17483161013775]
比較知識蒸留のための新しいフレームワークであるNeuroComparativesを紹介する。我々のフレームワークは最大8.8Mのコーパスを1.74Mのエンティティペアで生成する。人間による評価は、NeuroComparativesが既存のリソースよりも有効性が高いことを示している。
論文参考訳（メタデータ） (2023-05-08T18:20:36Z)
Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文参考訳（メタデータ） (2021-12-20T16:52:35Z)
Harnessing Multilinguality in Unsupervised Machine Translation for Rare Languages [48.28540903568198]
マルチリンガル性は低リソース環境において教師なしシステムの実現に不可欠であることを示す。我々は,5つの低リソース言語(グジャラート語,カザフ語,ネパール語,シンハラ語,トルコ語)について,英語方向と英語方向の単一モデルを提案する。我々は、これらの言語の現在最先端の教師なしベースラインを全て上回り、最大14.4BLEUのゲインを得る。
論文参考訳（メタデータ） (2020-09-23T15:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。