論文の概要: Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution

• arxiv url: http://arxiv.org/abs/2206.11815v1
• Date: Tue, 7 Jun 2022 16:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 01:51:10.554720
• Title: Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution
• Title（参考訳）: 常に目標を心に留める:セマンティックスの研究と神経語彙置換の性能向上
• Authors: Nikolay Arefyev, Boris Sheludko, Alexander Podolskiy, Alexander Panchenko
• Abstract要約: 本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
• 参考スコア（独自算出の注目度）: 124.99894592871385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lexical substitution, i.e. generation of plausible words that can replace a particular target word in a given context, is an extremely powerful technology that can be used as a backbone of various NLP applications, including word sense induction and disambiguation, lexical relation extraction, data augmentation, etc. In this paper, we present a large-scale comparative study of lexical substitution methods employing both rather old and most recent language and masked language models (LMs and MLMs), such as context2vec, ELMo, BERT, RoBERTa, XLNet. We show that already competitive results achieved by SOTA LMs/MLMs can be further substantially improved if information about the target word is injected properly. Several existing and new target word injection methods are compared for each LM/MLM using both intrinsic evaluation on lexical substitution datasets and extrinsic evaluation on word sense induction (WSI) datasets. On two WSI datasets we obtain new SOTA results. Besides, we analyze the types of semantic relations between target words and their substitutes generated by different models or given by annotators.
• Abstract（参考訳）: 語彙置換(英:lexical replacement)とは、特定の目的語を特定の文脈で置き換えることのできる、非常に強力な技術であり、単語認識の誘導や曖昧さの解消、語彙関係抽出、データ拡張など、様々なnlpアプリケーションのバックボーンとして使用できる。 本稿では,コンテキスト2vec,elmo,bert,roberta,xlnetなど,比較的古い言語と最新の言語とマスキング言語モデル(lmsおよびmlms)の両方を用いた語彙置換法を大規模に比較検討した。 目的語に関する情報を適切に注入すれば,soma lms/mlmsによる競争結果がさらに大幅に向上することを示す。 語彙置換データセットの内在的評価と単語感覚誘導(WSI)データセットの内在的評価の両方を用いて,各LM/MLMに対して,既存および新規な単語注入法を比較した。 2つのwsiデータセットで新しいsota結果を得る。 また,対象語とその代替語間の意味関係のタイプを,異なるモデルによって生成され,アノテーションによって付与される。

関連論文リスト

• MINERS: Multilingual Language Models as Semantic Retrievers [23.686762008696547]
  本稿では,意味検索タスクにおける多言語言語モデルの有効性を評価するためのベンチマークであるMINERSを紹介する。 我々は,200以上の多言語にわたるサンプルの検索において,LMの堅牢性を評価する包括的なフレームワークを構築した。 以上の結果から,意味論的に類似した埋め込みを検索することで,最先端のアプローチと競合する性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-06-11T16:26:18Z)
• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• MWE as WSD: Solving Multiword Expression Identification with Word Sense Disambiguation [0.0]
  単語感覚不明瞭化(WSD)への最近のアプローチは、センスグロス(定義)の符号化を利用して性能を向上させる。 本研究では,この手法が,用語情報と文脈情報を用いた学習モデルを用いて,MWE識別に応用可能であることを示す。 提案手法は精度を大幅に向上させ,DiMSUMデータセット上のMWE識別精度を最大1.9F1ポイント向上させ,PARSEME 1.1英語データセット上での競合結果を達成する。
  論文  参考訳（メタデータ） (2023-03-12T09:35:42Z)
• LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution [76.615287796753]
  本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-11T21:25:56Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。