論文の概要: RobBERT-2022: Updating a Dutch Language Model to Account for Evolving Language Use

• arxiv url: http://arxiv.org/abs/2211.08192v1
• Date: Tue, 15 Nov 2022 14:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 13:24:23.400273
• Title: RobBERT-2022: Updating a Dutch Language Model to Account for Evolving Language Use
• Title（参考訳）: RobBERT-2022: 言語利用の進化を考慮したオランダ語モデルの更新
• Authors: Pieter Delobelle and Thomas Winters and Bettina Berendt
• Abstract要約: 私たちは、2019年にトレーニングされた最先端のオランダ語モデルであるRobBERTを更新しました。 まず、RobBERTのトークンライザが更新され、最新のオランダのOSCARコーパスに新しい頻繁なトークンが含まれている。 新しいモデルがRobBERTのプラグイン代替であるかどうかを評価するために,既存のトークンのコンセプトドリフトと新しいトークンのアライメントに基づく2つの追加基準を導入する。
• 参考スコア（独自算出の注目度）: 9.797319790710711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large transformer-based language models, e.g. BERT and GPT-3, outperform previous architectures on most natural language processing tasks. Such language models are first pre-trained on gigantic corpora of text and later used as base-model for finetuning on a particular task. Since the pre-training step is usually not repeated, base models are not up-to-date with the latest information. In this paper, we update RobBERT, a RoBERTa-based state-of-the-art Dutch language model, which was trained in 2019. First, the tokenizer of RobBERT is updated to include new high-frequent tokens present in the latest Dutch OSCAR corpus, e.g. corona-related words. Then we further pre-train the RobBERT model using this dataset. To evaluate if our new model is a plug-in replacement for RobBERT, we introduce two additional criteria based on concept drift of existing tokens and alignment for novel tokens.We found that for certain language tasks this update results in a significant performance increase. These results highlight the benefit of continually updating a language model to account for evolving language use.
• Abstract（参考訳）: BERTやGPT-3のような大きなトランスフォーマーベースの言語モデルは、ほとんどの自然言語処理タスクにおいて、以前のアーキテクチャよりも優れている。 このような言語モデルは、最初は巨大なテキストコーパスで事前訓練され、後に特定のタスクを微調整するためのベースモデルとして使用される。 事前トレーニングのステップは通常繰り返されないため、ベースモデルは最新の情報と最新のものではない。 本稿では,RoBERTaをベースとした最先端のオランダ語モデルであるRobBERTを2019年にトレーニングした。 まず、RobBERTのトークン化剤が更新され、最新のオランダのOSCARコーパス、例えばコロナ関連の単語に新しい頻繁なトークンが含まれている。 次に、このデータセットを使用してRobBERTモデルをさらに事前トレーニングします。 新しいモデルがRobBERTのプラグイン代替であるかどうかを評価するために,既存のトークンのコンセプトドリフトと新しいトークンのアライメントに基づく2つの追加基準を導入する。 これらの結果は、進化する言語の使用を考慮した言語モデルを継続的に更新することの利点を浮き彫りにしている。

関連論文リスト

• CamemBERT 2.0: A Smarter French Language Model Aged to Perfection [14.265650708194789]
  これらの課題に対処するために,CamemBERTのベースモデルであるCamemBERTav2とCamemBERTv2の2つの新バージョンを紹介した。 どちらのモデルも、コンテキスト長が長く、トークン化ツールが更新された、はるかに大きくて最新のデータセットでトレーニングされている。 以上の結果から,これらの更新モデルは従来のモデルよりも大幅に優れており,現代のNLPシステムに有用なツールであることが示唆された。
  論文  参考訳（メタデータ） (2024-11-13T18:49:35Z)
• NarrowBERT: Accelerating Masked Language Model Pretraining and Inference [50.59811343945605]
  そこで我々はNarrowBERTを提案する。NarrowBERTは改良されたトランスフォーマーエンコーダで、マスク付き言語モデルのプリトレーニングのスループットを2ドル以上の値で向上させる。 NarrowBERTは、自己アテンションクエリとフィードフォワード層が事前トレーニング中に各文のマスク付きトークンでのみ動作するように、トランスフォーマーモデルをスペーサー化する。 NarrowBERTは、MNLIのような文符号化タスクにおいて、最小(またはノー)のパフォーマンス劣化を伴って、$3.5times$で推論時にスループットを向上することを示す。
  論文  参考訳（メタデータ） (2023-01-11T23:45:50Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)
• GottBERT: a pure German Language Model [0.0]
  ドイツ語の単一言語RoBERTaモデルはまだ公開されておらず、本書で紹介する(GottBERT)。 評価では、名前付きエンティティ認識(NER)タスクのConll 2003 と GermEval 2014 と、GermEval 2018 (微細で粗い) と GNAD のテキスト分類タスクと、既存のドイツの単一言語 BERT モデルと2つの多言語タスクのパフォーマンスを比較した。 GottBERTはRoBERTa BASEアーキテクチャを使って256コアのTPUポッドで事前訓練に成功した。
  論文  参考訳（メタデータ） (2020-12-03T17:45:03Z)
• WikiBERT models: deep transfer learning for many languages [1.3455090151301572]
  ウィキペディアデータから言語固有のBERTモデルを作成するための、単純で完全に自動化されたパイプラインを導入します。 我々は,これらのモデルの有効性を,Universal Dependenciesデータに基づく最先端のUDifyを用いて評価する。
  論文  参考訳（メタデータ） (2020-06-02T11:57:53Z)
• ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
  本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。 他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
  論文  参考訳（メタデータ） (2020-05-26T05:05:32Z)
• TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data [113.29476656550342]
  本研究では,NL文と表の表現を共同で学習する事前学習型LMであるTaBERTを提案する。 TaBERTは、600万のテーブルとその英語コンテキストからなる大規模なコーパスで訓練されている。 モデルの実装はhttp://fburl.com/TaBERT.comで公開される。
  論文  参考訳（メタデータ） (2020-05-17T17:26:40Z)
• CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
  CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。 我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。 モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
  論文  参考訳（メタデータ） (2020-02-19T13:09:07Z)
• RobBERT: a Dutch RoBERTa-based Language Model [9.797319790710711]
  我々はRoBERTaを使ってRobBERTと呼ばれるオランダ語のモデルをトレーニングします。 各種タスクにおけるその性能および微調整データセットサイズの重要性を計測する。 RobBERTは様々なタスクの最先端の結果を改善し、特に小さなデータセットを扱う場合、他のモデルよりもはるかに優れています。
  論文  参考訳（メタデータ） (2020-01-17T13:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。