論文の概要: Bertinho: Galician BERT Representations

• arxiv url: http://arxiv.org/abs/2103.13799v1
• Date: Thu, 25 Mar 2021 12:51:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:42:35.635016
• Title: Bertinho: Galician BERT Representations
• Title（参考訳）: Bertinho: Galician BERT の表現
• Authors: David Vilares and Marcos Garcia and Carlos G\'omez-Rodr\'iguez
• Abstract要約: 本稿ではガリシア語に対する単言語BERTモデルを提案する。 我々は、それぞれ6層と12層からなる2つのモデルをリリースする。 我々のモデル、特に12層モデルでは、ほとんどのタスクにおいてmBERTの結果よりも優れています。
• 参考スコア（独自算出の注目度）: 14.341471404165349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a monolingual BERT model for Galician. We follow the recent trend that shows that it is feasible to build robust monolingual BERT models even for relatively low-resource languages, while performing better than the well-known official multilingual BERT (mBERT). More particularly, we release two monolingual Galician BERT models, built using 6 and 12 transformer layers, respectively; trained with limited resources (~45 million tokens on a single GPU of 24GB). We then provide an exhaustive evaluation on a number of tasks such as POS-tagging, dependency parsing and named entity recognition. For this purpose, all these tasks are cast in a pure sequence labeling setup in order to run BERT without the need to include any additional layers on top of it (we only use an output classification layer to map the contextualized representations into the predicted label). The experiments show that our models, especially the 12-layer one, outperform the results of mBERT in most tasks.
• Abstract（参考訳）: 本稿ではガリシア語に対する単言語BERTモデルを提案する。 比較的低リソースな言語であっても、堅牢なモノリンガルBERTモデルを構築することは可能であり、また、よく知られた公式のマルチリンガルBERT(mBERT)よりも高性能であることを示す最近の傾向に従う。 さらに、我々は6層と12層からなる2つの単言語alician bertモデルをリリースし、限られたリソース(24gbのシングルgpu上で約4500万トークン)でトレーニングしました。 次に,posタグ,依存性解析,名前付きエンティティ認識などのタスクを徹底的に評価する。 この目的のために、これらのタスクはすべて、BERTを実行するために純粋なシーケンスラベリング設定でキャストされ、その上に追加のレイヤを含める必要がない(予測されたラベルにコンテキスト化された表現をマッピングするために出力分類層のみを使用する)。 実験の結果,我々のモデル,特に12層モデルでは,ほとんどのタスクにおいてmBERTよりも優れていた。

関連論文リスト

• L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence representations using multilingual BERT [0.7874708385247353]
  SBERT (Multilingual Sentence-BERT) モデルは、異なる言語を共通表現空間にマッピングする。 合成コーパスを用いたバニラ多言語BERTモデルから多言語文BERTモデルへ変換する手法を提案する。 多言語BERTモデルは本質的に言語間学習者であり、この単純なベースライン微調整アプローチは、例外的な言語間特性をもたらす。
  論文  参考訳（メタデータ） (2023-04-22T15:45:40Z)
• Evaluation of contextual embeddings on less-resourced languages [4.417922173735813]
  本稿では,2つのELMoと2つの単言語および複数言語のBERTモデルに対して,9つの言語で14のタスクを用いた最初の多言語比較を行った。 モノリンガル設定では、単言語BERTモデルが一般的に支配的であり、依存性解析タスクなどいくつかの例外がある。 言語横断的な設定では、BERTモデルは少数の言語でのみ訓練され、非常に多言語なBERTモデルと密接に関連している。
  論文  参考訳（メタデータ） (2021-07-22T12:32:27Z)
• Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization [56.87201892585477]
  多言語BERT (m-BERT) には、言語情報と意味情報の両方が含まれている。 トークン埋め込みを操作することで多言語BERTの出力言語を制御する。
  論文  参考訳（メタデータ） (2020-10-20T05:41:35Z)
• It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
  mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T09:49:32Z)
• Evaluating Multilingual BERT for Estonian [0.8057006406834467]
  複数のNLPタスクにおいて,多言語BERT,多言語蒸留BERT,XLM,XLM-RoBERTaの4つのモデルを評価する。 この結果から,多言語BERTモデルはエストニアの異なるNLPタスクでうまく一般化できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-01T14:48:31Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)
• Identifying Necessary Elements for BERT's Multilinguality [4.822598110892846]
  マルチリンガルBERT (mBERT) は高品質なマルチリンガル表現を出力し、効率的なゼロショット転送を可能にする。 本研究の目的は,BERTのアーキテクチャ特性と多言語化に必要な言語の言語特性を同定することである。
  論文  参考訳（メタデータ） (2020-05-01T14:27:14Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)
• What's so special about BERT's layers? A closer look at the NLP pipeline in monolingual and multilingual models [18.155121103400333]
  オランダのNLPタスクに対して,オランダのBERTベースモデルと多言語BERTモデルを提案する。 音声のタグ付けをより深く分析することにより、与えられたタスク内でも、情報がネットワークの異なる部分に分散されていることを示す。
  論文  参考訳（メタデータ） (2020-04-14T13:41:48Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)
• BERT's output layer recognizes all hidden layers? Some Intriguing Phenomena and a simple way to boost BERT [53.63288887672302]
  変換器による双方向表現(BERT)は多くの自然言語処理(NLP)タスクで大きな成功を収めている。 その結果,BERTの各層を直接入力として取り込むことで,BERTの出力層が入力文を再構築できることが判明した。 本稿では,BERTの性能向上のための非常に単純な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-25T13:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。