論文の概要: RigoBERTa: A State-of-the-Art Language Model For Spanish
- arxiv url: http://arxiv.org/abs/2205.10233v1
- Date: Wed, 27 Apr 2022 11:53:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-06 10:05:46.160997
- Title: RigoBERTa: A State-of-the-Art Language Model For Spanish
- Title(参考訳): RigoBERTa: スペイン語の最先端言語モデル
- Authors: Alejandro Vaca Serrano, Guillem Garcia Subies, Helena Montoro
Zamorano, Nuria Aldama Garcia, Doaa Samy, David Betancur Sanchez, Antonio
Moreno Sandoval, Marta Guerrero Nieto, Alvaro Barbero Jimenez
- Abstract要約: RigoBERTaは、スペイン語のステート・オブ・ザ・アート言語モデルである。
熟成したコーパスであるRigoCorpusでトレーニングされている。
- 参考スコア(独自算出の注目度): 48.45708696746931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents RigoBERTa, a State-of-the-Art Language Model for Spanish.
RigoBERTa is trained over RigoCorpus, a well-curated corpus formed up from
different subcorpora with key features. It follows the DeBERTa architecture,
which has several advantages over other architectures of similar size as BERT
or RoBERTa.
RigoBERTa performance is assessed over 13 NLU tasks in comparison with other
available Spanish language models, namely, MarIA, BERTIN and BETO. RigoBERTa
outperformed the three models in 10 out of the 13 tasks, achieving new
"State-of-the-Art" results.
- Abstract(参考訳): 本稿では,スペイン語の言語モデルであるRigoBERTaについて述べる。
RigoBERTaは、重要な特徴を持つ異なるサブコーパスから形成された、よく訓練されたコーパスであるRigoCorpus上でトレーニングされている。
これはDeBERTaアーキテクチャに従っており、BERTやRoBERTaと同様の大きさの他のアーキテクチャよりもいくつかの利点がある。
RigoBERTaのパフォーマンスは、他の利用可能なスペイン語モデル、すなわちMaria、BERTIN、BETOと比較して13のNLUタスクで評価されている。
RigoBERTaは13タスク中10タスクで3つのモデルを上回っ、新しい"State-of-the-Art"結果を達成した。
関連論文リスト
- Gemma: Open Models Based on Gemini Research and Technology [128.57714343844074]
Gemmaは、Geminiモデルを作成するために使用される研究と技術から構築された、軽量で最先端のオープンモデルのファミリーである。
Gemmaモデルは、言語理解、推論、安全性のための学術ベンチマークで強力なパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-03-13T06:59:16Z) - SeaLLMs -- Large Language Models for Southeast Asia [76.50157503379086]
東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。
SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。
包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
論文 参考訳(メタデータ) (2023-12-01T17:17:56Z) - Data-Efficient French Language Modeling with CamemBERTa [0.0]
本稿では,DeBERTaV3アーキテクチャとトレーニング目標に基づいて構築された,フランスのDeBERTaモデルであるCamemBERTaを紹介する。
我々は、さまざまなフランス語の下流タスクとデータセットに対して、我々のモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-06-02T12:45:34Z) - Sparse*BERT: Sparse Models Generalize To New tasks and Domains [79.42527716035879]
本稿では, 階層的非構造的マグニチュード・プルーニング(Gradual Unstructured Magnitude Pruning)を用いて, ドメイン間およびタスク間を移動可能なモデルについて検討する。
Sparse*BERTは、非構造化バイオメディカルテキスト上で圧縮されたアーキテクチャを事前学習することで、SparseBioBERTとなることを示す。
論文 参考訳(メタデータ) (2022-05-25T02:51:12Z) - Pre-training Data Quality and Quantity for a Low-Resource Language: New
Corpus and BERT Models for Maltese [4.4681678689625715]
低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。
新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。
スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
論文 参考訳(メタデータ) (2022-05-21T06:44:59Z) - ALBETO and DistilBETO: Lightweight Spanish Language Models [4.978565634673048]
本稿では,ALBERT と DistilBERT の派生版である ALBETO と DistilBETO について述べる。
我々は,スペイン語の自然言語理解タスクを含むGLUESベンチマークで,我々のモデルを評価した。
論文 参考訳(メタデータ) (2022-04-19T22:07:34Z) - Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。
本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
論文 参考訳(メタデータ) (2021-12-20T17:05:11Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳(メタデータ) (2021-12-20T16:52:35Z) - RoBERTuito: a pre-trained language model for social media text in
Spanish [1.376408511310322]
RoBERTuitoは、スペイン語でユーザー生成コンテンツのための事前訓練された言語モデルである。
スペイン語で5億のツイートでRoBERTuitoを訓練しました。
論文 参考訳(メタデータ) (2021-11-18T00:10:25Z) - Evaluating Contextualized Language Models for Hungarian [0.0]
ハンガリーのモデルhubertと多言語bertモデルを含む4つの多言語モデルを比較した。
huBERTは、他のモデルよりも、特にグローバルな最適化に近い大きなマージンで、うまく機能していることが分かりました。
論文 参考訳(メタデータ) (2021-02-22T09:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。