論文の概要: ALBETO and DistilBETO: Lightweight Spanish Language Models

• arxiv url: http://arxiv.org/abs/2204.09145v1
• Date: Tue, 19 Apr 2022 22:07:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 01:18:56.272283
• Title: ALBETO and DistilBETO: Lightweight Spanish Language Models
• Title（参考訳）: albetoとdistilbeto: 軽量なスペイン語モデル
• Authors: Jos\'e Ca\~nete, Sebasti\'an Donoso, Felipe Bravo-Marquez, Andr\'es Carvallo and Vladimir Araujo
• Abstract要約: 本稿では,ALBERT と DistilBERT の派生版である ALBETO と DistilBETO について述べる。 我々は,スペイン語の自然言語理解タスクを含むGLUESベンチマークで,我々のモデルを評価した。
• 参考スコア（独自算出の注目度）: 4.978565634673048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years there have been considerable advances in pre-trained language models, where non-English language versions have also been made available. Due to their increasing use, many lightweight versions of these models (with reduced parameters) have also been released to speed up training and inference times. However, versions of these lighter models (e.g., ALBERT, DistilBERT) for languages other than English are still scarce. In this paper we present ALBETO and DistilBETO, which are versions of ALBERT and DistilBERT pre-trained exclusively on Spanish corpora. We train several versions of ALBETO ranging from 5M to 223M parameters and one of DistilBETO with 67M parameters. We evaluate our models in the GLUES benchmark that includes various natural language understanding tasks in Spanish. The results show that our lightweight models achieve competitive results to those of BETO (Spanish-BERT) despite having fewer parameters. More specifically, our larger ALBETO model outperforms all other models on the MLDoc, PAWS-X, XNLI, MLQA, SQAC and XQuAD datasets. However, BETO remains unbeaten for POS and NER. As a further contribution, all models are publicly available to the community for future research.
• Abstract（参考訳）: 近年、英語以外の言語バージョンも利用可能になっている事前訓練言語モデルが大幅に進歩している。 使用量の増加により、これらのモデルの多くの軽量バージョン(パラメータの削減)も、トレーニングと推論時間の短縮のためにリリースされている。 しかし、英語以外の言語に対するこれらの軽量モデル(例えば、ALBERT、DistilBERT)のバージョンはまだ少ない。 本稿では,ALBERT と DistilBERT の派生版である ALBETO と DistilBETO について述べる。 我々は5Mから223MまでのALBETOと67Mのパラメータを持つDistilBETOのいくつかのバージョンを訓練する。 我々は、スペイン語の様々な自然言語理解タスクを含むgluesベンチマークでモデルを評価する。 その結果,パラメータが少ないにもかかわらず,私たちの軽量モデルはBETO ( Spanish-BERT) と競合する結果が得られることがわかった。 具体的には、より大規模なALBETOモデルは、MLDoc、PAWS-X、XNLI、MLQA、SQAC、XQuADデータセット上の他のモデルよりも優れています。 しかし、BETOはPOSやNERには勝てない。 さらなる貢献として、すべてのモデルがコミュニティに公開され、将来の研究が可能である。

関連論文リスト

• Generative Model for Less-Resourced Language with 1 billion parameters [0.0]
  GaMS 1B - 10億のパラメータを持つスロベニアの生成モデル。 我々はスロベニア語、クロアチア語、英語に適応した新しいトークンライザを開発した。 我々は,Slovene ベンチマークスイートと生成文単純化タスク SENTA から,いくつかの分類データセットを用いてモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-09T13:59:34Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• mALBERT: Is a Compact Multilingual BERT Model Still Worth It? [5.2116647104135305]
  ALBERTのようなコンパクトモデルなど,これらのPLMよりも頑丈なモデルに焦点をあてる。 PLMは、SpokenやNatural LanguageUnderstandingといった自然言語処理タスク、分類、質問応答タスクにおいて、大きなブレークスルーを可能にします。 これらの事実を踏まえ、ウィキペディアデータを用いて事前訓練された多言語コンパクトALBERTモデルの最初のバージョンを無償で提供する。
  論文  参考訳（メタデータ） (2024-03-27T08:25:28Z)
• ML-SUPERB: Multilingual Speech Universal PERformance Benchmark [73.65853301350042]
  音声処理Universal PERformance Benchmark (SUPERB) は、音声処理タスクにおける自己監督学習(SSL)モデルの性能をベンチマークするためのリーダーボードである。 本稿では,言語認識と言語識別の両方を考慮した多言語SUPERBを提案する。 SUPERBベンチマークと同様、音声SSLモデルはFBANKよりも性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-05-18T00:01:27Z)
• Lessons learned from the evaluation of Spanish Language Models [27.653133576469276]
  本稿では,スペイン語の言語モデルと,以下の結果との比較を行う。 我々は、その根底にある要因を理解するために、さらなる研究の必要性を論じる。 スペイン語のための言語技術開発における最近の活動は歓迎されるが、我々の結果は、言語モデルの構築は依然としてオープンでリソースの多い問題であることを示している。
  論文  参考訳（メタデータ） (2022-12-16T10:33:38Z)
• BLOOM: A 176B-Parameter Open-Access Multilingual Language Model [264.96498474333697]
  大規模言語モデル(LLM)は、いくつかのデモや自然言語命令に基づいて新しいタスクを実行できることが示されている。 BLOOMは、176Bパラメータのオープンアクセス言語モデルであり、数百人の研究者の協力により設計・構築されている。 BLOOMは、RATSコーパスでトレーニングされたデコーダのみのトランスフォーマー言語モデルである。
  論文  参考訳（メタデータ） (2022-11-09T18:48:09Z)
• PAGnol: An Extra-Large French Generative Model [53.40189314359048]
  本稿では,フランスのGPTモデルのコレクションであるPAGnolを紹介する。 スケーリング法則を用いて,CamemBERTと同じ計算予算でPAGnol-XLを効率的に訓練する。
  論文  参考訳（メタデータ） (2021-10-16T11:44:23Z)
• Scribosermo: Fast Speech-to-Text models for German and other Languages [69.7571480246023]
  本稿では,ドイツ語とスペイン語とフランス語の特殊特徴を持つ音声テキストモデルについて述べる。 それらは小さく、RaspberryPiのようなマイクロコントローラ上でリアルタイムで実行される。 事前トレーニングされた英語モデルを使用して、比較的小さなデータセットで、コンシューマグレードのハードウェアでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-15T10:10:34Z)
• ARBERT & MARBERT: Deep Bidirectional Transformers for Arabic [6.021269454707625]
  ARBERTとMARBERTの2つの強力な双方向トランスベースのモデルを紹介し、既存のすべてのモデルに優れた性能を発揮します。 ArBenchは5つのタスク/タスククラスタを対象とした41のデータセットを使用して構築されている。 ArBenchで微調整を行うと、ARBERTとMARBERTは既存のモデルと比べて大きなマージンを持つ新しいSOTAを達成する。
  論文  参考訳（メタデータ） (2020-12-27T06:32:55Z)
• ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
  本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。 他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
  論文  参考訳（メタデータ） (2020-05-26T05:05:32Z)
• Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
  我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。 また,RoBERTaを改良したMacBERTモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-29T02:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。