Fugu-MT 論文翻訳(概要): SlovakBERT: Slovak Masked Language Model

論文の概要: SlovakBERT: Slovak Masked Language Model

arxiv url: http://arxiv.org/abs/2109.15254v1
Date: Thu, 30 Sep 2021 16:36:49 GMT
ステータス: 処理完了
システム内更新日: 2021-10-01 17:14:26.195221
Title: SlovakBERT: Slovak Masked Language Model
Title（参考訳）: SlovakBERT: スロバキアのマスク語モデル
Authors: Mat\'u\v{s} Pikuliak, \v{S}tefan Grivalsk\'y, Martin Kon\^opka, Miroslav Bl\v{s}t\'ak, Martin Tamajka, Viktor Bachrat\'y, Mari\'an \v{S}imko, Pavol Bal\'a\v{z}ik, Michal Trnka, Filip Uhl\'arik
Abstract要約: スロバキアのマスキング言語モデル「BarberT」を紹介した。これはスロバキアのみのトランスフォーマーベースのモデルで、大きなコーパスで訓練された最初のものである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a new Slovak masked language model called SlovakBERT in this paper. It is the first Slovak-only transformers-based model trained on a sizeable corpus. We evaluate the model on several NLP tasks and achieve state-of-the-art results. We publish the masked language model, as well as the subsequently fine-tuned models for part-of-speech tagging, sentiment analysis and semantic textual similarity.
Abstract（参考訳）: 本稿では,スロバキアのマスキング言語モデルであるBarberTを紹介する。これはスロバキアのみのトランスフォーマーベースのモデルであり、大きなコーパスで訓練されている。複数のnlpタスクでモデルを評価し,最新の結果を得た。マスク付き言語モデルと、後続の音声タグ付け、感情分析、意味的テキスト類似性のための微調整モデルを公開する。

関連論文リスト

Transfer Learning of Transformer-based Speech Recognition Models from Czech to Slovak [1.8584828111764833]
チェコの既存のトレーニング済みのWav2Vec 2.0モデルからスロバキアへの移行学習のアプローチを検討している。我々のスロバキアモデルは、事前学習フェーズの開始時にチェコのモデルからウェイトを初期化する際に、最良の結果を得た。
論文参考訳（メタデータ） (2023-06-07T12:58:46Z)
Entity-Assisted Language Models for Identifying Check-worthy Sentences [23.792877053142636]
テキスト分類とランキングのための統一的なフレームワークを提案する。本フレームワークは,文の意味的分析と,文内の識別されたエンティティから得られる追加のエンティティ埋め込みを組み合わせる。 CLEFの2019年と2020年のCheckThat! Labsから公開されている2つのデータセットを使用して、我々のフレームワークの有効性を広く評価する。
論文参考訳（メタデータ） (2022-11-19T12:03:30Z)
M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
論文参考訳（メタデータ） (2022-11-02T14:54:45Z)
Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese [4.4681678689625715]
低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
論文参考訳（メタデータ） (2022-05-21T06:44:59Z)
Slovene SuperGLUE Benchmark: Translation and Evaluation [0.0]
我々は,スロヴェニアの機械と人間を併用したSuperGLUEベンチマークを提案する。我々は、翻訳されたデータセットを、モノリンガル、クロスリンガル、マルチリンガルの3つのモードで評価する。
論文参考訳（メタデータ） (2022-02-10T12:46:06Z)
Training dataset and dictionary sizes matter in BERT models: the case of Baltic languages [0.0]
我々はリトアニア語、ラトビア語、英語の3言語モデルLitLat BERTとエストニア語の単言語モデルEst-RoBERTaを訓練する。提案手法は,エンティティ認識,依存性解析,パート・オブ・音声タグ付け,単語類似処理の4つのダウンストリームタスクにおいて,その性能を評価する。
論文参考訳（メタデータ） (2021-12-20T14:26:40Z)
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。これまでの研究では、これは表現が十分に整合していないためです。本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文参考訳（メタデータ） (2021-03-18T21:17:58Z)
SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文参考訳（メタデータ） (2020-10-30T13:33:41Z)
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文参考訳（メタデータ） (2020-10-27T22:24:01Z)
Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。言語モデルのための完全合成出力埋め込み層を提案する。我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文参考訳（メタデータ） (2020-09-24T07:21:14Z)
A Discriminative Latent-Variable Model for Bilingual Lexicon Induction [100.76471407472599]
本稿では,バイリンガルレキシコン誘導のための新しい識別潜在変数モデルを提案する。我々のモデルは、Haghighi et al. (2008) 以前の二部語マッチング辞書と表現に基づくアプローチを組み合わせたものである。
論文参考訳（メタデータ） (2018-08-28T14:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。