論文の概要: Unsupervised Semantic Variation Prediction using the Distribution of Sibling Embeddings

• arxiv url: http://arxiv.org/abs/2305.08654v1
• Date: Mon, 15 May 2023 13:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 14:26:18.619012
• Title: Unsupervised Semantic Variation Prediction using the Distribution of Sibling Embeddings
• Title（参考訳）: 兄弟埋め込み分布を用いた教師なし意味変動予測
• Authors: Taichi Aida, Danushka Bollegala
• Abstract要約: 単語の意味的変化の検出は,様々なNLPアプリケーションにおいて重要な課題である。 意味表現だけではそのような意味的バリエーションを正確に捉えることはできないと我々は主張する。 対象単語の文脈的埋め込みのコホート全体を利用する手法を提案する。
• 参考スコア（独自算出の注目度）: 17.803726860514193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Languages are dynamic entities, where the meanings associated with words constantly change with time. Detecting the semantic variation of words is an important task for various NLP applications that must make time-sensitive predictions. Existing work on semantic variation prediction have predominantly focused on comparing some form of an averaged contextualised representation of a target word computed from a given corpus. However, some of the previously associated meanings of a target word can become obsolete over time (e.g. meaning of gay as happy), while novel usages of existing words are observed (e.g. meaning of cell as a mobile phone). We argue that mean representations alone cannot accurately capture such semantic variations and propose a method that uses the entire cohort of the contextualised embeddings of the target word, which we refer to as the sibling distribution. Experimental results on SemEval-2020 Task 1 benchmark dataset for semantic variation prediction show that our method outperforms prior work that consider only the mean embeddings, and is comparable to the current state-of-the-art. Moreover, a qualitative analysis shows that our method detects important semantic changes in words that are not captured by the existing methods. Source code is available at https://github.com/a1da4/svp-gauss .
• Abstract（参考訳）: 言語は動的実体であり、言葉に関連する意味は常に時間とともに変化する。 単語の意味変化を検出することは、時間に敏感な予測を行う必要がある様々なNLPアプリケーションにとって重要なタスクである。 意味変化予測に関する既存の研究は、主に、与えられたコーパスから計算された対象単語の平均的な文脈化表現の形式の比較に焦点が当てられている。 しかし、対象語に先立つ意味のいくつかは時間とともに時代遅れになり(例えば、ゲイの意味は幸福である)、既存の単語の新しい使用が観察される(例えば携帯電話としての携帯電話の意味)。 平均表現だけではそのような意味的変化を正確に捉えることはできず、対象単語の文脈化された埋め込みのコホート全体を使用する方法を提案し、これを兄弟分布と呼ぶ。 semeval-2020 task 1ベンチマークデータセットによる意味変化予測実験の結果,本手法は平均埋め込みのみを考慮した先行研究よりも優れており,現状と同等であることがわかった。 さらに, 定性解析により, 既存の手法では捉えられていない単語の重要な意味変化を検出する。 ソースコードはhttps://github.com/a1da4/svp-gaussで入手できる。

関連論文リスト

• Can Word Sense Distribution Detect Semantic Changes of Words? [35.17635565325166]
  単語感覚分布は、英語、ドイツ語、スウェーデン語、ラテン語の単語の意味変化を正確に予測するために使用できることを示す。 SemEval 2020 Task 1のデータセットを用いた実験結果から,単語の意味的変化を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:41:27Z)
• Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories [47.03271152494389]
  Word Sense Disambiguationは、そのコンテキストに応じて、ある単語の正確な意味を自動的に識別することを目的としている。 既存の教師付きモデルは、限られた訓練データのために稀な単語感覚の正確な予測に苦慮している。 我々は,定義文を異なる意味の在庫から同じ意味に整合させ,豊富な語彙知識を収集する光沢アライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-27T00:04:33Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Grammatical Profiling for Semantic Change Detection [6.3596637237946725]
  文法的プロファイリングを意味変化検出の代替手法として用いている。 意味的変化の検出に使用することができ、また、いくつかの分布的意味的手法よりも優れていることを実証する。
  論文  参考訳（メタデータ） (2021-09-21T18:38:18Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
  文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
  論文  参考訳（メタデータ） (2020-12-17T04:54:16Z)
• SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical Semantic Change [58.87961226278285]
  本稿では,SemEval-2020 Task 1における語彙意味変化の教師なし検出法であるSChMEについて述べる。 SChMEは、分布モデル(単語埋め込み)とワード周波数モデルの信号を組み合わせたモデルアンサンブルを使用し、各モデルは、その特徴に応じて単語が苦しむ確率を示す投票を行う。
  論文  参考訳（メタデータ） (2020-12-02T23:56:34Z)
• Semantic Relatedness for Keyword Disambiguation: Exploiting Different Embeddings [0.0]
  本稿では,学習時に未知の外部インベントリ(オントロジー)によって提供される単語と感覚間の意味的関連性に基づくキーワードの曖昧さに対するアプローチを提案する。 実験の結果,特定のドメインをトレーニングすることなく,単語センスの曖昧さ (WSD) を適用した場合に,この手法が技術状況に匹敵する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-25T16:44:50Z)
• Lexical Sememe Prediction using Dictionary Definitions by Capturing Local Semantic Correspondence [94.79912471702782]
  セメムは人間の言語の最小の意味単位として定義されており、多くのNLPタスクで有用であることが証明されている。 本稿では,このようなマッチングを捕捉し,セメムを予測できるセメム対応プールモデルを提案する。 我々は,有名なSememe KB HowNetのモデルとベースライン手法を評価し,そのモデルが最先端のパフォーマンスを実現することを発見した。
  論文  参考訳（メタデータ） (2020-01-16T17:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。