論文の概要: Large Pre-Trained Models with Extra-Large Vocabularies: A Contrastive
Analysis of Hebrew BERT Models and a New One to Outperform Them All
- arxiv url: http://arxiv.org/abs/2211.15199v1
- Date: Mon, 28 Nov 2022 10:17:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 17:36:48.795116
- Title: Large Pre-Trained Models with Extra-Large Vocabularies: A Contrastive
Analysis of Hebrew BERT Models and a New One to Outperform Them All
- Title（参考訳）: 超大語彙を持つ大規模事前学習モデル:ヘブライ語のBERTモデルの対比分析と、その全てを上回る新しいモデル
- Authors: Eylon Guetta, Avi Shmidman, Shaltiel Shmidman, Cheyn Shmuel Shmidman,
Joshua Guedalia, Moshe Koppel, Dan Bareket, Amit Seker, Reut Tsarfaty
- Abstract要約: AlephBERTGimmelとよばれる現代ヘブライ語のための新しい事前学習言語モデル(PLM)を提案する。
我々は,従来のヘブライ語 PLM (mBERT, heBERT, AlephBERT) に対して,このモデルを対照的に解析し,より大きな語彙がタスク性能に与える影響を評価する。
実験の結果、より大きな語彙は分割を減らし、分割を減らすことは、異なるタスクをまたいだモデルの性能向上に有効であることがわかった。
- 参考スコア（独自算出の注目度）: 8.964815786230686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a new pre-trained language model (PLM) for modern Hebrew, termed
AlephBERTGimmel, which employs a much larger vocabulary (128K items) than
standard Hebrew PLMs before. We perform a contrastive analysis of this model
against all previous Hebrew PLMs (mBERT, heBERT, AlephBERT) and assess the
effects of larger vocabularies on task performance. Our experiments show that
larger vocabularies lead to fewer splits, and that reducing splits is better
for model performance, across different tasks. All in all this new model
achieves new SOTA on all available Hebrew benchmarks, including Morphological
Segmentation, POS Tagging, Full Morphological Analysis, NER, and Sentiment
Analysis. Subsequently we advocate for PLMs that are larger not only in terms
of number of layers or training data, but also in terms of their vocabulary. We
release the new model publicly for unrestricted use.
- Abstract（参考訳）: 我々は,従来のヘブライ語plmよりもはるかに大きな語彙(128k項目)を用いた現代ヘブライ語のための新しい事前学習言語モデル(plm)を提案する。
我々は,従来のヘブライ語 PLM (mBERT, heBERT, AlephBERT) に対して,このモデルを対照的に解析し,より大きな語彙がタスク性能に与える影響を評価する。
実験の結果、より大きな語彙は分割を減らし、分割を減らすことは、異なるタスクをまたいだモデルの性能向上に役立つことがわかった。
すべての新しいモデルにおいて、Morphological Segmentation、POS Tagging、Full Morphological Analysis、NER、Sentiment Analysisを含むすべてのHebrewベンチマークで新しいSOTAを実現している。
その後、レイヤ数やトレーニングデータだけでなく、その語彙の観点からも大きなplmを提唱します。
制限のない使用のために、新しいモデルを公開しています。
関連論文リスト
- Large Vocabulary Size Improves Large Language Models [28.83786065307658]
単語語彙サイズと大規模言語モデル(LLM)の性能の関係について検討する。
実験結果から,LLMの語彙サイズが大きくなると性能が向上することがわかった。
事前定義された語彙の代わりに新しい語彙を使用するための簡単な方法を導入する。
論文 参考訳（メタデータ） (2024-06-24T10:27:07Z) - mALBERT: Is a Compact Multilingual BERT Model Still Worth It? [5.2116647104135305]
ALBERTのようなコンパクトモデルなど,これらのPLMよりも頑丈なモデルに焦点をあてる。
PLMは、SpokenやNatural LanguageUnderstandingといった自然言語処理タスク、分類、質問応答タスクにおいて、大きなブレークスルーを可能にします。
これらの事実を踏まえ、ウィキペディアデータを用いて事前訓練された多言語コンパクトALBERTモデルの最初のバージョンを無償で提供する。
論文 参考訳（メタデータ） (2024-03-27T08:25:28Z) - DictaBERT: A State-of-the-Art BERT Suite for Modern Hebrew [2.421705925711388]
DictaBERTは、現代ヘブライ語のための最先端のトレーニング済みBERTモデルである。
ヘブライ語テキストの分析において,3つの基礎的なタスクを実行するために設計した3つの細調整バージョンをリリースする。
論文 参考訳（メタデータ） (2023-08-31T12:43:18Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳（メタデータ） (2022-10-23T00:37:08Z) - Pre-training Data Quality and Quantity for a Low-Resource Language: New
Corpus and BERT Models for Maltese [4.4681678689625715]
低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。
新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。
スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
論文 参考訳（メタデータ） (2022-05-21T06:44:59Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳（メタデータ） (2022-03-21T01:16:44Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳（メタデータ） (2021-11-18T06:48:00Z) - Towards Efficient NLP: A Standard Evaluation and A Strong Baseline [55.29756535335831]
本研究は, ELUE (Efficient Language Understanding Evaluation) と標準評価, 効率的なNLPモデルのための公開リーダボードを提案する。
ベンチマークとともに、強いベースラインであるElasticBERTの事前トレーニングとリリースも行います。
論文 参考訳（メタデータ） (2021-10-13T21:17:15Z) - AlephBERT:A Hebrew Large Pre-Trained Language Model to Start-off your
Hebrew NLP Application With [7.345047237652976]
大規模プリトレーニング言語モデル(PLM)は、言語理解技術の発展においてユビキタスになっています。
PLMを用いた英語の進歩は前例がないが、ヘブライ語でのPLMの使用の進展は少ない。
論文 参考訳（メタデータ） (2021-04-08T20:51:29Z) - Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。
その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。
これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
論文 参考訳（メタデータ） (2020-10-06T05:15:39Z) - Reusing a Pretrained Language Model on Languages with Limited Corpora
for Unsupervised NMT [129.99918589405675]
本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。
モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。
我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
論文 参考訳（メタデータ） (2020-09-16T11:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。