論文の概要: Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences

• arxiv url: http://arxiv.org/abs/2009.11795v2
• Date: Thu, 1 Oct 2020 06:06:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 04:04:06.006686
• Title: Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
• Title（参考訳）: グロス選択目的と例文を用いた単語センス曖昧化のためのBERTの適用
• Authors: Boon Peng Yap, Andrew Koh and Eng Siong Chng
• Abstract要約: BERTのような事前訓練された言語モデルを用いたドメイン適応や伝達学習は、多くの自然言語処理タスクにおいて効果的なアプローチであることが証明されている。 関連性ランキングタスクとして単語感覚の曖昧さを定式化し、シーケンスペアランキングタスクで細いBERTを用いて、最も確率の高い感覚定義を選択することを提案する。
• 参考スコア（独自算出の注目度）: 18.54615448101203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain adaptation or transfer learning using pre-trained language models such as BERT has proven to be an effective approach for many natural language processing tasks. In this work, we propose to formulate word sense disambiguation as a relevance ranking task, and fine-tune BERT on sequence-pair ranking task to select the most probable sense definition given a context sentence and a list of candidate sense definitions. We also introduce a data augmentation technique for WSD using existing example sentences from WordNet. Using the proposed training objective and data augmentation technique, our models are able to achieve state-of-the-art results on the English all-words benchmark datasets.
• Abstract（参考訳）: BERTのような事前訓練された言語モデルを用いたドメイン適応や伝達学習は、多くの自然言語処理タスクにおいて効果的なアプローチであることが証明されている。 本研究では,単語感覚の曖昧さを関連性ランキングタスクとして定式化し,シーケンスペアランキングタスクの細いBERTを用いて,文脈文と候補感覚定義のリストを与えられた最も確率の高い感覚定義を選択することを提案する。 また,既存のWordNetの例文を用いたWSDデータ拡張手法についても紹介する。 提案した学習目標とデータ拡張技術を用いて、我々のモデルは英語の全単語ベンチマークデータセットで最先端の結果を得ることができる。

関連論文リスト

• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories [47.03271152494389]
  Word Sense Disambiguationは、そのコンテキストに応じて、ある単語の正確な意味を自動的に識別することを目的としている。 既存の教師付きモデルは、限られた訓練データのために稀な単語感覚の正確な予測に苦慮している。 我々は,定義文を異なる意味の在庫から同じ意味に整合させ,豊富な語彙知識を収集する光沢アライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-27T00:04:33Z)
• AStitchInLanguageModels: Dataset and Methods for the Exploration of Idiomaticity in Pre-Trained Language Models [7.386862225828819]
  本研究は、MWEを含む自然発生文のデータセットを、細かな意味の集合に手作業で分類する。 我々は,このデータセットを,idiomを含む文の表現生成における言語モデルの有効性と,idiomを用いた言語モデルの有効性を検証するために,2つのタスクで使用する。
  論文  参考訳（メタデータ） (2021-09-09T16:53:17Z)
• Seed Words Based Data Selection for Language Model Adaptation [11.59717828860318]
  本稿では,テキストコーパスから文を自動的に選択する手法を提案する。 ベースラインモデルの語彙は拡張・調整され、OOVレートが低下する。 異なる測定値(OOVレート, WER, 精度, リコール)を用いて, 提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-07-20T12:08:27Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• MICE: Mining Idioms with Contextual Embeddings [0.0]
  MICEatic式は自然言語処理アプリケーションでは問題となることがある。 我々は,その目的のためにコンテキスト埋め込みを利用するアプローチを提案する。 両埋め込みを用いたディープニューラルネットワークは,既存のアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-08-13T08:56:40Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。