論文の概要: LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution

• arxiv url: http://arxiv.org/abs/2107.05132v1
• Date: Sun, 11 Jul 2021 21:25:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 15:52:52.794787
• Title: LexSubCon: Integrating Knowledge from Lexical Resources into Contextual Embeddings for Lexical Substitution
• Title（参考訳）: LexSubCon: 語彙資源からの知識を語彙置換のための文脈埋め込みに統合する
• Authors: George Michalopoulos, Ian McKillop, Alexander Wong, Helen Chen
• Abstract要約: 本稿では,コンテキスト埋め込みモデルに基づくエンドツーエンドの語彙置換フレームワークであるLexSubConを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 我々の実験によると、LexSubConはLS07とCoInCoベンチマークデータセットで従来の最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 76.615287796753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lexical substitution is the task of generating meaningful substitutes for a word in a given textual context. Contextual word embedding models have achieved state-of-the-art results in the lexical substitution task by relying on contextual information extracted from the replaced word within the sentence. However, such models do not take into account structured knowledge that exists in external lexical databases. We introduce LexSubCon, an end-to-end lexical substitution framework based on contextual embedding models that can identify highly accurate substitute candidates. This is achieved by combining contextual information with knowledge from structured lexical resources. Our approach involves: (i) introducing a novel mix-up embedding strategy in the creation of the input embedding of the target word through linearly interpolating the pair of the target input embedding and the average embedding of its probable synonyms; (ii) considering the similarity of the sentence-definition embeddings of the target word and its proposed candidates; and, (iii) calculating the effect of each substitution in the semantics of the sentence through a fine-tuned sentence similarity model. Our experiments show that LexSubCon outperforms previous state-of-the-art methods on LS07 and CoInCo benchmark datasets that are widely used for lexical substitution tasks.
• Abstract（参考訳）: 語彙置換は、与えられたテキストの文脈で単語の意味のある代用を生成するタスクである。 文脈単語埋め込みモデルは文中の置換語から抽出された文脈情報に頼って語彙置換タスクにおいて最先端の結果を得た。 しかし、そのようなモデルは外部の語彙データベースに存在する構造化知識を考慮していない。 我々は,高度に正確な代替候補を識別できる文脈埋め込みモデルに基づく,エンドツーエンドの語彙置換フレームワークlexsubconを紹介する。 これは文脈情報と構造化語彙資源からの知識を組み合わせることで達成される。 Our approach involves: (i) introducing a novel mix-up embedding strategy in the creation of the input embedding of the target word through linearly interpolating the pair of the target input embedding and the average embedding of its probable synonyms; (ii) considering the similarity of the sentence-definition embeddings of the target word and its proposed candidates; and, (iii) calculating the effect of each substitution in the semantics of the sentence through a fine-tuned sentence similarity model. 実験の結果,lexsubcon は ls07 やcoinco ベンチマークデータセットにおいて,語彙置換タスクに広く使用される従来の最先端手法よりも優れていた。

関連論文リスト

• Analyzing Semantic Change through Lexical Replacements [2.509907053583601]
  テクトテックス置換による予期せぬ文脈の影響について検討する。 そこで本研究では,テキスト置換方式を提案する。 セマンティックチェンジ検出におけるLLaMaの使用を最初に評価した。
  論文  参考訳（メタデータ） (2024-04-29T10:20:41Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Unsupervised Lexical Substitution with Decontextualised Embeddings [48.00929769805882]
  事前学習された言語モデルを用いた語彙置換の新しい教師なし手法を提案する。 本手法は,文脈的および非文脈的単語埋め込みの類似性に基づいて代用語を検索する。 我々は、英語とイタリア語で実験を行い、我々の手法が強いベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-09-17T03:51:47Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Enhanced word embeddings using multi-semantic representation through lexical chains [1.8199326045904998]
  フレキシブル・レキシカル・チェーンIIと固定レキシカル・チェーンIIという2つの新しいアルゴリズムを提案する。 これらのアルゴリズムは、語彙連鎖から派生した意味関係、語彙データベースからの以前の知識、および単一のシステムを形成するビルディングブロックとしての単語埋め込みにおける分布仮説の堅牢性を組み合わせている。 その結果、語彙チェーンと単語埋め込み表現の統合は、より複雑なシステムに対しても、最先端の結果を維持します。
  論文  参考訳（メタデータ） (2021-01-22T09:43:33Z)
• A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings [42.87769996249732]
  共同学習トピックとトピック固有の単語埋め込みのための局所的・グローバル的文脈を探索する新しい生成モデルを提案する。 訓練されたモデルは、単語を話題に依存した埋め込みにマッピングする。
  論文  参考訳（メタデータ） (2020-08-11T13:54:11Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。