Fugu-MT 論文翻訳(概要): gaBERT -- an Irish Language Model

論文の概要: gaBERT -- an Irish Language Model

arxiv url: http://arxiv.org/abs/2107.12930v1
Date: Tue, 27 Jul 2021 16:38:53 GMT
ステータス: 処理完了
システム内更新日: 2021-07-28 16:54:27.186636
Title: gaBERT -- an Irish Language Model
Title（参考訳）: gBERT -- アイルランド語モデル
Authors: James Barry, Joachim Wagner, Lauren Cassidy, Alan Cowap, Teresa Lynn, Abigail Walsh, M\'iche\'al J. \'O Meachair, Jennifer Foster
Abstract要約: gaBERT はアイルランド語の単言語 BERT モデルである。フィルタリング基準,語彙サイズ,サブワードトークン化モデルの選択が下流のパフォーマンスにどのように影響するかを示す。
参考スコア（独自算出の注目度）: 7.834915319072005
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The BERT family of neural language models have become highly popular due to their ability to provide sequences of text with rich context-sensitive token encodings which are able to generalise well to many Natural Language Processing tasks. Over 120 monolingual BERT models covering over 50 languages have been released, as well as a multilingual model trained on 104 languages. We introduce, gaBERT, a monolingual BERT model for the Irish language. We compare our gaBERT model to multilingual BERT and show that gaBERT provides better representations for a downstream parsing task. We also show how different filtering criteria, vocabulary size and the choice of subword tokenisation model affect downstream performance. We release gaBERT and related code to the community.
Abstract（参考訳）: BERTファミリーのニューラルネットワークモデルは、多くの自然言語処理タスクをうまく一般化できるリッチなコンテキスト依存トークンエンコーディングを備えたテキストのシーケンスを提供する能力によって、人気を博している。 50以上の言語をカバーする120以上の単言語bertモデルと104言語で訓練された多言語モデルがリリースされた。アイルランド語のための単言語BERTモデルであるgaBERTを紹介する。我々はgaBERTモデルを多言語BERTと比較し、gaBERTが下流の構文解析タスクにより良い表現を提供することを示す。また,フィルタリング基準,語彙サイズ,サブワードトークン化モデルの選択が下流のパフォーマンスにどのように影響するかを示す。 gBERTと関連するコードをコミュニティにリリースします。

関連論文リスト

PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文参考訳（メタデータ） (2023-07-12T09:00:37Z)
FBERT: A Neural Transformer for Identifying Offensive Content [67.12838911384024]
fBERTは、SOLIDで再訓練されたBERTモデルである。複数の英文データセット上での攻撃的内容の同定におけるfBERTの性能を評価し、SOLIDからインスタンスを選択するためのしきい値をテストする。 fBERTモデルは、コミュニティで自由に利用できるようになる。
論文参考訳（メタデータ） (2021-09-10T19:19:26Z)
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文参考訳（メタデータ） (2020-12-31T11:37:28Z)
Towards Fully Bilingual Deep Language Modeling [1.3455090151301572]
両言語のパフォーマンスを損なうことなく、2つの遠隔関連言語に対してバイリンガルモデルを事前学習することが可能かを検討する。フィンランド英語のバイリンガルBERTモデルを作成し、対応するモノリンガルモデルを評価するために使用されるデータセットの性能を評価する。我々のバイリンガルモデルは、GLUE上のGoogleのオリジナル英語BERTと同等に動作し、フィンランドのNLPタスクにおける単言語フィンランドBERTのパフォーマンスとほぼ一致します。
論文参考訳（メタデータ） (2020-10-22T12:22:50Z)
Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization [56.87201892585477]
多言語BERT (m-BERT) には、言語情報と意味情報の両方が含まれている。トークン埋め込みを操作することで多言語BERTの出力言語を制御する。
論文参考訳（メタデータ） (2020-10-20T05:41:35Z)
It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
論文参考訳（メタデータ） (2020-10-16T09:49:32Z)
Evaluating Multilingual BERT for Estonian [0.8057006406834467]
複数のNLPタスクにおいて,多言語BERT,多言語蒸留BERT,XLM,XLM-RoBERTaの4つのモデルを評価する。この結果から,多言語BERTモデルはエストニアの異なるNLPタスクでうまく一般化できることが示唆された。
論文参考訳（メタデータ） (2020-10-01T14:48:31Z)
CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
論文参考訳（メタデータ） (2020-06-11T13:15:59Z)
WikiBERT models: deep transfer learning for many languages [1.3455090151301572]
ウィキペディアデータから言語固有のBERTモデルを作成するための、単純で完全に自動化されたパイプラインを導入します。我々は,これらのモデルの有効性を,Universal Dependenciesデータに基づく最先端のUDifyを用いて評価する。
論文参考訳（メタデータ） (2020-06-02T11:57:53Z)
What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
本稿では,言語固有のBERTモデルにおける技術の現状について述べる。本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
論文参考訳（メタデータ） (2020-03-05T20:42:51Z)
RobBERT: a Dutch RoBERTa-based Language Model [9.797319790710711]
我々はRoBERTaを使ってRobBERTと呼ばれるオランダ語のモデルをトレーニングします。各種タスクにおけるその性能および微調整データセットサイズの重要性を計測する。 RobBERTは様々なタスクの最先端の結果を改善し、特に小さなデータセットを扱う場合、他のモデルよりもはるかに優れています。
論文参考訳（メタデータ） (2020-01-17T13:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。