論文の概要: Deep Learning Transformer Architecture for Named Entity Recognition on Low Resourced Languages: State of the art results

• arxiv url: http://arxiv.org/abs/2111.00830v1
• Date: Mon, 1 Nov 2021 11:02:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 23:21:37.477266
• Title: Deep Learning Transformer Architecture for Named Entity Recognition on Low Resourced Languages: State of the art results
• Title（参考訳）: 低リソース言語における名前付きエンティティ認識のためのディープラーニングトランスフォーマーアーキテクチャ:最先端の成果
• Authors: Ridewaan Hanslo
• Abstract要約: 本稿では,低リソースの南アフリカ(SA)言語10言語を対象とした,NERのためのディープラーニング(DL)トランスフォーマーアーキテクチャモデルの評価について報告する。 その結果,言語毎に離散的な微調整パラメータを適用すると,トランスフォーマーモデルの性能が著しく向上することがわかった。 さらなる研究は、他の自然言語処理タスクやアプリケーション上で、より最近のトランスフォーマーアーキテクチャモデルを評価する可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper reports on the evaluation of Deep Learning (DL) transformer architecture models for Named-Entity Recognition (NER) on ten low-resourced South African (SA) languages. In addition, these DL transformer models were compared to other Neural Network and Machine Learning (ML) NER models. The findings show that transformer models significantly improve performance when applying discrete fine-tuning parameters per language. Furthermore, fine-tuned transformer models outperform other neural network and machine learning models with NER on the low-resourced SA languages. For example, the transformer models generated the highest F-scores for six of the ten SA languages, including the highest average F-score surpassing the Conditional Random Fields ML model. Additional research could evaluate the more recent transformer architecture models on other Natural Language Processing tasks and applications, such as Phrase chunking, Machine Translation, and Part-of-Speech tagging.
• Abstract（参考訳）: 本稿では,低リソースの南アフリカ(SA)言語10言語を対象としたNERのためのディープラーニング(DL)トランスフォーマーアーキテクチャモデルの評価について述べる。 さらに、これらのDLトランスモデルを他のニューラルネットワークおよび機械学習(ML)NERモデルと比較した。 その結果,言語毎に離散的な微調整パラメータを適用すると,トランスフォーマーモデルの性能が著しく向上することがわかった。 さらに、微調整トランスフォーマーモデルは、低リソースのsa言語でnerを使った他のニューラルネットワークや機械学習モデルよりも優れている。 例えば、トランスフォーマーモデルは、条件付き確率場mlモデルを上回る平均f-scoreを含む10のsa言語のうち6言語で最高のf-scoreを生成した。 さらなる研究は、フレーズチャンキング、機械翻訳、パート・オブ・スパイチ・タギングなど、他の自然言語処理タスクやアプリケーションにおける、より最近のトランスフォーマーアーキテクチャモデルを評価する可能性がある。

関連論文リスト

• Low-resource neural machine translation with morphological modeling [3.3721926640077804]
  ニューラルマシン翻訳(NMT)における形態的モデリングは、オープン語彙機械翻訳を実現するための有望なアプローチである。 低リソース環境における複雑な形態をモデル化するためのフレームワークソリューションを提案する。 パブリックドメインのパラレルテキストを用いた英訳であるKinyarwandaについて,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-04-03T01:31:41Z)
• Transformers for Low-Resource Languages:Is F\'eidir Linn! [2.648836772989769]
  一般に、ニューラルネットワークモデルは訓練データが不十分な言語ペアで実行されることが多い。 適切なパラメータを選択することで、パフォーマンスが大幅に向上することを示す。 Transformer最適化モデルでは,ベースラインRNNモデルと比較してBLEUスコアが7.8ポイント向上した。
  論文  参考訳（メタデータ） (2024-03-04T12:29:59Z)
• N-Grammer: Augmenting Transformers with latent n-grams [35.39961549040385]
  本稿では,テキストシーケンスの離散潜在表現から構築したn-gramでモデルを拡張することにより,統計言語モデリングの文献に触発されたトランスフォーマーアーキテクチャの簡易かつ効果的な変更を提案する。 我々は、C4データセットの言語モデリングにおけるN-GrammerモデルとSuperGLUEデータセットのテキスト分類を評価し、TransformerやPrimerといった強力なベースラインよりも優れていることを発見した。
  論文  参考訳（メタデータ） (2022-07-13T17:18:02Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Revisiting Simple Neural Probabilistic Language Models [27.957834093475686]
  本稿では,Bengio2003ANPの神経確率言語モデル(NPLM)を再検討する。 現代のハードウェアにスケールアップすると、このモデルは単語レベルの言語モデルのベンチマークで期待以上にパフォーマンスが向上する。 この結果に触発され、最初の自己保持層をNPLMの局所連結層に置き換えることでトランスフォーマーを変更した。
  論文  参考訳（メタデータ） (2021-04-08T02:18:47Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Language Modelling for Source Code with Transformer-XL [7.967230034960396]
  ソースコードに対する最先端のニューラルネットワークモデルの実験的評価を行う。 また,Transformer-XL モデルの方が RNN モデルよりも自然度が高いことが判明した。
  論文  参考訳（メタデータ） (2020-07-31T02:42:18Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。