論文の概要: An Empirical Study of Pre-trained Transformers for Arabic Information Extraction

• arxiv url: http://arxiv.org/abs/2004.14519v5
• Date: Sat, 7 Nov 2020 14:40:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:58:55.590851
• Title: An Empirical Study of Pre-trained Transformers for Arabic Information Extraction
• Title（参考訳）: アラビア語情報抽出のための事前学習トランスの実証的研究
• Authors: Wuwei Lan, Yang Chen, Wei Xu and Alan Ritter
• Abstract要約: 我々は、GigaBERTと呼ばれるカスタマイズされたバイリンガルBERTを、アラビア語のNLPと英語からアラビア語へのゼロショットトランスファー学習のために事前訓練する。 GigaBERTによるIEタスク間のゼロショート転送の有効性について検討した。 我々の最良のモデルは、教師付きおよびゼロショット転送設定の両方において、mBERT、XLM-RoBERTa、AraBERTを大きく上回る。
• 参考スコア（独自算出の注目度）: 25.10651348642055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual pre-trained Transformers, such as mBERT (Devlin et al., 2019) and XLM-RoBERTa (Conneau et al., 2020a), have been shown to enable the effective cross-lingual zero-shot transfer. However, their performance on Arabic information extraction (IE) tasks is not very well studied. In this paper, we pre-train a customized bilingual BERT, dubbed GigaBERT, that is designed specifically for Arabic NLP and English-to-Arabic zero-shot transfer learning. We study GigaBERT's effectiveness on zero-short transfer across four IE tasks: named entity recognition, part-of-speech tagging, argument role labeling, and relation extraction. Our best model significantly outperforms mBERT, XLM-RoBERTa, and AraBERT (Antoun et al., 2020) in both the supervised and zero-shot transfer settings. We have made our pre-trained models publicly available at https://github.com/lanwuwei/GigaBERT.
• Abstract（参考訳）: mBERT (Devlin et al., 2019) や XLM-RoBERTa (Conneau et al., 2020a) のような多言語事前訓練トランスフォーマーは、効果的な言語間ゼロショット転送を可能にすることが示されている。 しかし、アラビア語情報抽出(ie)タスクの性能は十分に研究されていない。 本稿では、アラビア語NLPと英語からアラビア語へのゼロショット変換学習に特化した、カスタマイズされたバイリンガルBERT(GigaBERT)を事前訓練する。 4つのieタスク(名前付きエンティティ認識、part-of-speech tagging、引数ロールラベリング、リレーション抽出)におけるgigabertの有効性について検討した。 我々はmBERT, XLM-RoBERTa, AraBERT (Antoun et al., 2020) を教師付きおよびゼロショット転送設定で大きく上回っている。 トレーニング済みのモデルをhttps://github.com/lanwuwei/GigaBERT.comで公開しています。

関連論文リスト

• SHuBERT: Self-Supervised Sign Language Representation Learning via Multi-Stream Cluster Prediction [65.1590372072555]
  本稿では,ASL(American Sign Language)ビデオコンテンツから強い表現を学習する自己教師型トランスフォーマーエンコーダSHuBERTを紹介する。 HuBERT音声表現モデルの成功に触発されて、SHuBERTはマルチストリーム視覚手話入力にマスク付き予測を適用する。 SHuBERTは、複数のベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-25T03:13:08Z)
• NarrowBERT: Accelerating Masked Language Model Pretraining and Inference [50.59811343945605]
  そこで我々はNarrowBERTを提案する。NarrowBERTは改良されたトランスフォーマーエンコーダで、マスク付き言語モデルのプリトレーニングのスループットを2ドル以上の値で向上させる。 NarrowBERTは、自己アテンションクエリとフィードフォワード層が事前トレーニング中に各文のマスク付きトークンでのみ動作するように、トランスフォーマーモデルをスペーサー化する。 NarrowBERTは、MNLIのような文符号化タスクにおいて、最小(またはノー)のパフォーマンス劣化を伴って、$3.5times$で推論時にスループットを向上することを示す。
  論文  参考訳（メタデータ） (2023-01-11T23:45:50Z)
• RobBERT-2022: Updating a Dutch Language Model to Account for Evolving Language Use [9.797319790710711]
  私たちは、2019年にトレーニングされた最先端のオランダ語モデルであるRobBERTを更新しました。 まず、RobBERTのトークンライザが更新され、最新のオランダのOSCARコーパスに新しい頻繁なトークンが含まれている。 新しいモデルがRobBERTのプラグイン代替であるかどうかを評価するために,既存のトークンのコンセプトドリフトと新しいトークンのアライメントに基づく2つの追加基準を導入する。
  論文  参考訳（メタデータ） (2022-11-15T14:55:53Z)
• FBERT: A Neural Transformer for Identifying Offensive Content [67.12838911384024]
  fBERTは、SOLIDで再訓練されたBERTモデルである。 複数の英文データセット上での攻撃的内容の同定におけるfBERTの性能を評価し、SOLIDからインスタンスを選択するためのしきい値をテストする。 fBERTモデルは、コミュニティで自由に利用できるようになる。
  論文  参考訳（メタデータ） (2021-09-10T19:19:26Z)
• Pre-Training BERT on Arabic Tweets: Practical Considerations [11.087099497830552]
  トレーニングセットのサイズ、形式と非公式のアラビア語の混合、言語前処理の5つのBERTモデルを事前訓練した。 すべてアラビア方言とソーシャルメディアをサポートすることを意図している。 新しいモデルは、いくつかの下流タスクで最新の結果を達成します。
  論文  参考訳（メタデータ） (2021-02-21T20:51:33Z)
• GottBERT: a pure German Language Model [0.0]
  ドイツ語の単一言語RoBERTaモデルはまだ公開されておらず、本書で紹介する(GottBERT)。 評価では、名前付きエンティティ認識(NER)タスクのConll 2003 と GermEval 2014 と、GermEval 2018 (微細で粗い) と GNAD のテキスト分類タスクと、既存のドイツの単一言語 BERT モデルと2つの多言語タスクのパフォーマンスを比較した。 GottBERTはRoBERTa BASEアーキテクチャを使って256コアのTPUポッドで事前訓練に成功した。
  論文  参考訳（メタデータ） (2020-12-03T17:45:03Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• Accenture at CheckThat! 2020: If you say so: Post-hoc fact-checking of claims using transformer-based models [0.0]
  CLEF 2020 CheckThat! Lab, Task 1 on English and Arabic。 この共有タスクは、ソーシャルメディアテキストのクレームがプロとして事実チェックされるべきかどうかを評価する。 我々はBERTとRoBERTaモデルを用いて、プロのファクトチェッカーがレビューすべきソーシャルメディアテキストのクレームを特定した。
  論文  参考訳（メタデータ） (2020-09-05T01:44:11Z)
• Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
  我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。 また,RoBERTaを改良したMacBERTモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-29T02:08:30Z)
• Extending Multilingual BERT to Low-Resource Languages [71.0976635999159]
  M-BERT(M-BERT)は、教師付きおよびゼロショットの言語間移動学習において大きな成功を収めている。 我々は、M-BERTを拡張して、新しい言語に利益をもたらすための、シンプルで効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-28T16:36:41Z)
• AraBERT: Transformer-based Model for Arabic Language Understanding [0.0]
  我々は、BERTが英語で行ったのと同じ成功を達成するために、特にアラビア語のためにBERTを事前訓練した。 その結果, AraBERTはアラビアのほとんどのNLPタスクで最先端の性能を達成した。
  論文  参考訳（メタデータ） (2020-02-28T22:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。