論文の概要: Playing with Words at the National Library of Sweden -- Making a Swedish BERT

• arxiv url: http://arxiv.org/abs/2007.01658v1
• Date: Fri, 3 Jul 2020 12:53:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 05:30:31.131211
• Title: Playing with Words at the National Library of Sweden -- Making a Swedish BERT
• Title（参考訳）: スウェーデン国立図書館で「言葉で遊んでいる」 スウェーデン・ベルトを作る
• Authors: Martin Malmsten, Love B\"orjeson and Chris Haffenden
• Abstract要約: 本稿では,スウェーデン国立図書館(KB)のデータ駆動研究のためにKBLabが開発したスウェーデンのBERT(KB-BERT)を紹介する。 スウェーデン語以外の言語のためのトランスフォーマーベースのBERTモデルを作成するための最近の取り組みに基づいて、KBのコレクションを使用して、スウェーデン語向けの新しい言語固有のBERTモデルを作成およびトレーニングする方法を説明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the Swedish BERT ("KB-BERT") developed by the KBLab for data-driven research at the National Library of Sweden (KB). Building on recent efforts to create transformer-based BERT models for languages other than English, we explain how we used KB's collections to create and train a new language-specific BERT model for Swedish. We also present the results of our model in comparison with existing models - chiefly that produced by the Swedish Public Employment Service, Arbetsf\"ormedlingen, and Google's multilingual M-BERT - where we demonstrate that KB-BERT outperforms these in a range of NLP tasks from named entity recognition (NER) to part-of-speech tagging (POS). Our discussion highlights the difficulties that continue to exist given the lack of training data and testbeds for smaller languages like Swedish. We release our model for further exploration and research here: https://github.com/Kungbib/swedish-bert-models .
• Abstract（参考訳）: 本稿では,スウェーデン国立図書館(KB)のデータ駆動研究のためにKBLabが開発したスウェーデンのBERT(KB-BERT)を紹介する。 スウェーデン語以外の言語のためのトランスフォーマーベースのBERTモデルを作成するための最近の取り組みに基づいて、KBのコレクションを使用して、スウェーデン語向けの新しい言語固有のBERTモデルを作成およびトレーニングする方法を説明します。 また,本モデルの結果を,スウェーデン公共雇用サービス arbetsf\"ormedlingen と google の多言語 m-bert による既存のモデルと比較し,名前付きエンティティ認識 (ner) からpart-of-speech tagging (pos) までの nlp タスクにおいて kb-bert がこれらを上回っていることを示す。 スウェーデン語のような小さな言語では、トレーニングデータやテストベッドが不足しているため、この議論は継続する難しさを強調します。 私たちは、さらなる調査と研究のために、以下のモデルをリリースします。

関連論文リスト

• SWEb: A Large Web Dataset for the Scandinavian Languages [11.41086713693524]
  本稿はスカンジナビア語における最大の事前学習データセットであるスカンジナビア語WEb(SWEb)について述べる。 本稿では,ルールベースのアプローチと比較して,複雑性を著しく低減する新しいモデルベースのテキスト抽出手法を提案する。 また、スウェーデンの言語モデルを評価するための新しいクローゼスタイルのベンチマークを導入し、このテストを用いて、SWEbデータでトレーニングされたモデルとFinalWebでトレーニングされたモデルを比較し、競合する結果と比較した。
  論文  参考訳（メタデータ） (2024-10-06T11:55:15Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Training dataset and dictionary sizes matter in BERT models: the case of Baltic languages [0.0]
  我々はリトアニア語、ラトビア語、英語の3言語モデルLitLat BERTとエストニア語の単言語モデルEst-RoBERTaを訓練する。 提案手法は,エンティティ認識,依存性解析,パート・オブ・音声タグ付け,単語類似処理の4つのダウンストリームタスクにおいて,その性能を評価する。
  論文  参考訳（メタデータ） (2021-12-20T14:26:40Z)
• FBERT: A Neural Transformer for Identifying Offensive Content [67.12838911384024]
  fBERTは、SOLIDで再訓練されたBERTモデルである。 複数の英文データセット上での攻撃的内容の同定におけるfBERTの性能を評価し、SOLIDからインスタンスを選択するためのしきい値をテストする。 fBERTモデルは、コミュニティで自由に利用できるようになる。
  論文  参考訳（メタデータ） (2021-09-10T19:19:26Z)
• Operationalizing a National Digital Library: The Case for a Norwegian Transformer Model [0.0]
  国立図書館でデジタルコレクションとデジタルコレクションから大規模なトレーニングセットを構築するプロセスを紹介します。 ノルウェー語のための変換器(BERT)に基づく双方向表現は、複数のトークンおよびシーケンス分類タスクにおいて多言語BERT(mBERT)モデルより優れている。
  論文  参考訳（メタデータ） (2021-04-19T20:36:24Z)
• EstBERT: A Pretrained Language-Specific BERT for Estonian [0.3674863913115431]
  本稿では,エストニア語のための言語固有BERTモデルであるEstBERTについて述べる。 最近の研究はエストニアのタスクにおける多言語BERTモデルを評価し、ベースラインを上回る結果を得た。 EstBERTに基づくモデルは、6つのタスクのうち5つのタスクにおいて多言語BERTモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-09T21:33:53Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• TaBERT: Pretraining for Joint Understanding of Textual and Tabular Data [113.29476656550342]
  本研究では,NL文と表の表現を共同で学習する事前学習型LMであるTaBERTを提案する。 TaBERTは、600万のテーブルとその英語コンテキストからなる大規模なコーパスで訓練されている。 モデルの実装はhttp://fburl.com/TaBERT.comで公開される。
  論文  参考訳（メタデータ） (2020-05-17T17:26:40Z)
• CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
  CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。 我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。 モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
  論文  参考訳（メタデータ） (2020-02-19T13:09:07Z)
• RobBERT: a Dutch RoBERTa-based Language Model [9.797319790710711]
  我々はRoBERTaを使ってRobBERTと呼ばれるオランダ語のモデルをトレーニングします。 各種タスクにおけるその性能および微調整データセットサイズの重要性を計測する。 RobBERTは様々なタスクの最先端の結果を改善し、特に小さなデータセットを扱う場合、他のモデルよりもはるかに優れています。
  論文  参考訳（メタデータ） (2020-01-17T13:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。