論文の概要: Improving Sequence Tagging for Vietnamese Text Using Transformer-based
Neural Models
- arxiv url: http://arxiv.org/abs/2006.15994v4
- Date: Fri, 25 Sep 2020 13:24:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 14:41:23.512414
- Title: Improving Sequence Tagging for Vietnamese Text Using Transformer-based
Neural Models
- Title(参考訳): トランスフォーマーに基づくニューラルモデルを用いたベトナム語テキストのシーケンスタギングの改善
- Authors: Viet Bui The, Oanh Tran Thi, Phuong Le-Hong
- Abstract要約: 我々は,ベトナム語のシーケンスタギングタスクを改善するために,無用なBERT埋め込みといくつかのニューラルモデルを用いて研究を行った。
提案手法は既存手法より優れ, 新たな最先端結果が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper describes our study on using mutilingual BERT embeddings and some
new neural models for improving sequence tagging tasks for the Vietnamese
language. We propose new model architectures and evaluate them extensively on
two named entity recognition datasets of VLSP 2016 and VLSP 2018, and on two
part-of-speech tagging datasets of VLSP 2010 and VLSP 2013. Our proposed models
outperform existing methods and achieve new state-of-the-art results. In
particular, we have pushed the accuracy of part-of-speech tagging to 95.40% on
the VLSP 2010 corpus, to 96.77% on the VLSP 2013 corpus; and the F1 score of
named entity recognition to 94.07% on the VLSP 2016 corpus, to 90.31% on the
VLSP 2018 corpus. Our code and pre-trained models viBERT and vELECTRA are
released as open source to facilitate adoption and further research.
- Abstract(参考訳): 本稿では,ベトナム語のシーケンスタギングタスクを改善するために,変異言語bert埋め込みを用いた新しいニューラルモデルについて述べる。
新しいモデルアーキテクチャを提案し、VLSP 2016 と VLSP 2018 の2つの名前付きエンティティ認識データセットとVLSP 2010 と VLSP 2013 の2つの部分音声タグ付けデータセットで広く評価する。
提案手法は既存手法より優れ, 新たな最先端結果が得られる。
特に、VLSP 2010 コーパスで95.40%、VLSP 2013 コーパスで96.77%、VLSP 2016 コーパスで94.07%、VLSP 2018 コーパスで90.31%となっている。
我々のコードと事前訓練されたモデルである viBERT と vELECTRA は、採用とさらなる研究を容易にするためにオープンソースとしてリリースされている。
関連論文リスト
- Embracing Language Inclusivity and Diversity in CLIP through Continual
Language Learning [58.92843729869586]
視覚言語事前学習モデル (VL-PTMs) は近年、先進的なマルチモーダル研究を行っているが、英語のようないくつかの言語での習得は、より広いコミュニティにおける適用性を制限している。
我々は,連続言語学習(CLL)によってVL-PTMの言語能力を拡張することを提案する。
我々は,MSCOCOおよびXM3600データセットに基づく36言語をカバーするCLLベンチマークを構築し,多言語画像テキスト検索性能を評価する。
論文 参考訳(メタデータ) (2024-01-30T17:14:05Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Convolutional Neural Networks for Sentiment Analysis on Weibo Data: A
Natural Language Processing Approach [0.228438857884398]
本研究では,Weiboの119,988ツイートのデータセット上で,畳み込みニューラルネットワーク(CNN)を用いた感情分析の複雑な課題に対処する。
CNNに基づくモデルを用いて,特徴抽出に単語埋め込みを活用し,感情分類を行う訓練を行った。
このモデルは、テストセットで平均約0.73のマクロ平均F1スコアを達成し、正、中、負の感情でバランスの取れた性能を示した。
論文 参考訳(メタデータ) (2023-07-13T03:02:56Z) - Improving Commonsense in Vision-Language Models via Knowledge Graph
Riddles [83.41551911845157]
本稿では,近年普及している視覚言語モデル(VL)のコモンセンス能力の解析と改善に焦点をあてる。
我々は、よりスケーラブルな戦略、すなわち、CommonsensE機能のためのkNowledgeグラフ線形化によるデータ拡張を提案する(DANCE)。
より優れたコモンセンス評価のために,検索に基づく最初のコモンセンス診断ベンチマークを提案する。
論文 参考訳(メタデータ) (2022-11-29T18:59:59Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-14T09:10:49Z) - e-ViL: A Dataset and Benchmark for Natural Language Explanations in
Vision-Language Tasks [52.918087305406296]
説明可能な視覚言語タスクを評価するベンチマークe-ViLを紹介します。
また、NLEで最大のデータセットであるe-SNLI-VEについても紹介する。
画像とテキストの共同埋め込みを学習するUNITERと、予め訓練された言語モデルであるGPT-2を組み合わせた新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-05-08T18:46:33Z) - Fine-tuning BERT for Low-Resource Natural Language Understanding via
Active Learning [30.5853328612593]
本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。
実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。
我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
論文 参考訳(メタデータ) (2020-12-04T08:34:39Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Cross-lingual Information Retrieval with BERT [8.052497255948046]
本稿では、人気のある双方向言語モデルBERTを用いて、英語クエリと外国語文書の関係をモデル化し、学習する。
BERTに基づく深部関係マッチングモデルを導入し,教師の弱い事前学習多言語BERTモデルを微調整して訓練する。
短い英語クエリに対するリトアニア語文書の検索実験の結果、我々のモデルは有効であり、競争ベースラインのアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2020-04-24T23:32:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。