論文の概要: SlovakBERT: Slovak Masked Language Model
- arxiv url: http://arxiv.org/abs/2109.15254v1
- Date: Thu, 30 Sep 2021 16:36:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 17:14:26.195221
- Title: SlovakBERT: Slovak Masked Language Model
- Title(参考訳): SlovakBERT: スロバキアのマスク語モデル
- Authors: Mat\'u\v{s} Pikuliak, \v{S}tefan Grivalsk\'y, Martin Kon\^opka,
Miroslav Bl\v{s}t\'ak, Martin Tamajka, Viktor Bachrat\'y, Mari\'an \v{S}imko,
Pavol Bal\'a\v{z}ik, Michal Trnka, Filip Uhl\'arik
- Abstract要約: スロバキアのマスキング言語モデル「BarberT」を紹介した。
これはスロバキアのみのトランスフォーマーベースのモデルで、大きなコーパスで訓練された最初のものである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new Slovak masked language model called SlovakBERT in this
paper. It is the first Slovak-only transformers-based model trained on a
sizeable corpus. We evaluate the model on several NLP tasks and achieve
state-of-the-art results. We publish the masked language model, as well as the
subsequently fine-tuned models for part-of-speech tagging, sentiment analysis
and semantic textual similarity.
- Abstract(参考訳): 本稿では,スロバキアのマスキング言語モデルであるBarberTを紹介する。
これはスロバキアのみのトランスフォーマーベースのモデルであり、大きなコーパスで訓練されている。
複数のnlpタスクでモデルを評価し,最新の結果を得た。
マスク付き言語モデルと、後続の音声タグ付け、感情分析、意味的テキスト類似性のための微調整モデルを公開する。
関連論文リスト
- Transfer Learning of Transformer-based Speech Recognition Models from
Czech to Slovak [1.8584828111764833]
チェコの既存のトレーニング済みのWav2Vec 2.0モデルからスロバキアへの移行学習のアプローチを検討している。
我々のスロバキアモデルは、事前学習フェーズの開始時にチェコのモデルからウェイトを初期化する際に、最良の結果を得た。
論文 参考訳(メタデータ) (2023-06-07T12:58:46Z) - Entity-Assisted Language Models for Identifying Check-worthy Sentences [23.792877053142636]
テキスト分類とランキングのための統一的なフレームワークを提案する。
本フレームワークは,文の意味的分析と,文内の識別されたエンティティから得られる追加のエンティティ埋め込みを組み合わせる。
CLEFの2019年と2020年のCheckThat! Labsから公開されている2つのデータセットを使用して、我々のフレームワークの有効性を広く評価する。
論文 参考訳(メタデータ) (2022-11-19T12:03:30Z) - M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for
Multilingual Speech to Image Retrieval [56.49878599920353]
本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。
非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
論文 参考訳(メタデータ) (2022-11-02T14:54:45Z) - Pre-training Data Quality and Quantity for a Low-Resource Language: New
Corpus and BERT Models for Maltese [4.4681678689625715]
低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。
新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。
スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
論文 参考訳(メタデータ) (2022-05-21T06:44:59Z) - Slovene SuperGLUE Benchmark: Translation and Evaluation [0.0]
我々は,スロヴェニアの機械と人間を併用したSuperGLUEベンチマークを提案する。
我々は、翻訳されたデータセットを、モノリンガル、クロスリンガル、マルチリンガルの3つのモードで評価する。
論文 参考訳(メタデータ) (2022-02-10T12:46:06Z) - Training dataset and dictionary sizes matter in BERT models: the case of
Baltic languages [0.0]
我々はリトアニア語、ラトビア語、英語の3言語モデルLitLat BERTとエストニア語の単言語モデルEst-RoBERTaを訓練する。
提案手法は,エンティティ認識,依存性解析,パート・オブ・音声タグ付け,単語類似処理の4つのダウンストリームタスクにおいて,その性能を評価する。
論文 参考訳(メタデータ) (2021-12-20T14:26:40Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳(メタデータ) (2021-03-18T21:17:58Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-10-30T13:33:41Z) - Learning Contextualised Cross-lingual Word Embeddings and Alignments for
Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。
本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文 参考訳(メタデータ) (2020-10-27T22:24:01Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳(メタデータ) (2020-09-24T07:21:14Z) - A Discriminative Latent-Variable Model for Bilingual Lexicon Induction [100.76471407472599]
本稿では,バイリンガルレキシコン誘導のための新しい識別潜在変数モデルを提案する。
我々のモデルは、Haghighi et al. (2008) 以前の二部語マッチング辞書と表現に基づくアプローチを組み合わせたものである。
論文 参考訳(メタデータ) (2018-08-28T14:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。