Fugu-MT 論文翻訳(概要): Incorporating Word Sense Disambiguation in Neural Language Models

論文の概要: Incorporating Word Sense Disambiguation in Neural Language Models

arxiv url: http://arxiv.org/abs/2106.07967v1
Date: Tue, 15 Jun 2021 08:44:08 GMT
ステータス: 処理完了
システム内更新日: 2021-06-17 01:47:11.291368
Title: Incorporating Word Sense Disambiguation in Neural Language Models
Title（参考訳）: ニューラル言語モデルにおける単語センスの曖昧化
Authors: Jan Philip Wahle and Terry Ruas and Norman Meuschke and Bela Gipp
Abstract要約: 語彙資源からの光沢定義をニューラルネットワークモデル(LM)に組み込むための教師付き(事前)学習手法を2つ提案する。このトレーニングは、Word Sense Disambiguation(WSD)のモデルの性能を改善するとともに、パラメータをほとんど追加することなく、一般的な言語理解タスクにも役立ちます。 XLNet は BERT よりも WSD に適していることが判明した。
参考スコア（独自算出の注目度）: 5.847824494580938
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We present two supervised (pre-)training methods to incorporate gloss definitions from lexical resources into neural language models (LMs). The training improves our models' performance for Word Sense Disambiguation (WSD) but also benefits general language understanding tasks while adding almost no parameters. We evaluate our techniques with seven different neural LMs and find that XLNet is more suitable for WSD than BERT. Our best-performing methods exceeds state-of-the-art WSD techniques on the SemCor 3.0 dataset by 0.5% F1 and increase BERT's performance on the GLUE benchmark by 1.1% on average.
Abstract（参考訳）: 本稿では,語彙資源からの用語定義をニューラルネットワークモデル(lms)に組み込むための教師付き(事前)学習手法を提案する。このトレーニングは、Word Sense Disambiguation(WSD)のモデルの性能を改善するとともに、パラメータをほとんど追加することなく、一般的な言語理解タスクにも役立ちます。我々は7つの異なるニューラルlmmを用いてこの技術を評価し、xlnetがbertよりもwsdに適していることを発見した。 SemCor 3.0データセットの最新のWSDテクニックを0.5%F1で上回り、GLUEベンチマークでのBERTのパフォーマンスを平均1.1%向上させました。

関連論文リスト

Textbooks Are All You Need II: phi-1.5 technical report [55.6940110946465]
我々は、新しい13億のパラメータモデル textbfphi-1.5を作成し、5倍のモデルに匹敵する自然言語タスクのパフォーマンスを実現した。 textbfphi-1.5はより大きな言語モデルの特徴の多くを示している。我々はこれらの緊急トピックに関するさらなる研究を促進するために textbfphi-1.5 をオープンソース化した。
論文参考訳（メタデータ） (2023-09-11T14:01:45Z)
MWE as WSD: Solving Multiword Expression Identification with Word Sense Disambiguation [0.0]
単語感覚不明瞭化(WSD)への最近のアプローチは、センスグロス(定義)の符号化を利用して性能を向上させる。本研究では,この手法が,用語情報と文脈情報を用いた学習モデルを用いて,MWE識別に応用可能であることを示す。提案手法は精度を大幅に向上させ,DiMSUMデータセット上のMWE識別精度を最大1.9F1ポイント向上させ,PARSEME 1.1英語データセット上での競合結果を達成する。
論文参考訳（メタデータ） (2023-03-12T09:35:42Z)
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文参考訳（メタデータ） (2023-02-18T09:26:35Z)
A Cohesive Distillation Architecture for Neural Language Models [0.0]
自然言語処理の最近のトレンドは、言語モデル(LM)のサイズが指数関数的に増加することである。本研究では,大規模モデルの効率的な代替手段を提供するために,知識蒸留法(KD)について検討する。
論文参考訳（メタデータ） (2023-01-12T08:01:53Z)
A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss [17.213602354715956]
本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2022-10-19T05:33:27Z)
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
論文参考訳（メタデータ） (2022-04-14T08:16:28Z)
Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。本研究では,このアプローチをニューラルLMの文脈で再考する。
論文参考訳（メタデータ） (2022-03-21T01:16:44Z)
Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文参考訳（メタデータ） (2021-09-09T12:32:28Z)
Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings [41.148892848434585]
本稿では,バイリンガル辞書からのクロスリンガル信号のみを活用して,文脈埋め込みを感覚レベルで整列する新しい枠組みを提案する。我々はまず,単語感覚を明示的にモデル化するために,新しい感覚認識型クロスエントロピー損失を提案する。次に,言語間モデル事前学習のための感覚認識型クロスエントロピー損失と,複数の言語対に対する事前訓練型クロス言語モデルの上に,感覚アライメントの目的を提案する。
論文参考訳（メタデータ） (2021-03-11T04:55:35Z)
Self-Learning for Zero Shot Neural Machine Translation [13.551731309506874]
本研究は、並列データを共有するピボット言語を仮定せずに学習するゼロショットNMTモデリング手法を提案する。教師なしNMTと比較して、ドメインミスマッチ設定でも一貫した改善が観察される。
論文参考訳（メタデータ） (2021-03-10T09:15:19Z)
DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文参考訳（メタデータ） (2020-06-05T19:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。