論文の概要: Semantic Specialization for Knowledge-based Word Sense Disambiguation
- arxiv url: http://arxiv.org/abs/2304.11340v1
- Date: Sat, 22 Apr 2023 07:40:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 19:08:32.575798
- Title: Semantic Specialization for Knowledge-based Word Sense Disambiguation
- Title（参考訳）: 知識に基づく単語センスの曖昧化のためのセマンティックスペシャライゼーション
- Authors: Sakae Mizuki and Naoaki Okazaki
- Abstract要約: 知識に基づくWord Sense Disambiguation (WSD) のための有望なアプローチは、ある文中の対象語に対して計算された単語に最も近い文脈的埋め込みを持つ感覚を選択することである。
本稿では,文脈適応型埋め込みを語彙知識のみを用いてWSDタスクに適応させるWSDのセマンティック・スペシャライゼーションを提案する。
- 参考スコア（独自算出の注目度）: 12.573927420408365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A promising approach for knowledge-based Word Sense Disambiguation (WSD) is
to select the sense whose contextualized embeddings computed for its definition
sentence are closest to those computed for a target word in a given sentence.
This approach relies on the similarity of the \textit{sense} and
\textit{context} embeddings computed by a pre-trained language model. We
propose a semantic specialization for WSD where contextualized embeddings are
adapted to the WSD task using solely lexical knowledge. The key idea is, for a
given sense, to bring semantically related senses and contexts closer and send
different/unrelated senses farther away. We realize this idea as the joint
optimization of the Attract-Repel objective for sense pairs and the
self-training objective for context-sense pairs while controlling deviations
from the original embeddings. The proposed method outperformed previous studies
that adapt contextualized embeddings. It achieved state-of-the-art performance
on knowledge-based WSD when combined with the reranking heuristic that uses the
sense inventory. We found that the similarity characteristics of specialized
embeddings conform to the key idea. We also found that the (dis)similarity of
embeddings between the related/different/unrelated senses correlates well with
the performance of WSD.
- Abstract（参考訳）: 知識に基づくWord Sense Disambiguation (WSD) に対する有望なアプローチは、定義文で計算された文脈的埋め込みが、与えられた文中の対象語に対して計算されたものと最も近い感覚を選択することである。
このアプローチは、事前訓練された言語モデルによって計算された \textit{sense} と \textit{context} の埋め込みの類似性に依存する。
本稿では,文脈適応型埋め込みを語彙知識のみを用いてWSDタスクに適用するWSDのセマンティック特殊化を提案する。
キーとなる考え方は、ある意味において意味論的に関連づけられた感覚と文脈をより近づけ、異なる/無関係な感覚を遠くに送ることである。
この考え方は,感覚ペアに対するAttract-Repel目標と,コンテキストセンスペアに対する自己学習目標の協調最適化として実現し,元の埋め込みからの逸脱を制御した。
提案手法は, 従来の文脈適応型埋め込みよりも優れていた。
知識に基づくWSDで最先端のパフォーマンスを達成し、センスインベントリを使用したリグレードヒューリスティックと組み合わせた。
特殊埋め込みの類似性特性が鍵となる概念と一致することがわかった。
また、関連する/微分/非関連感覚間の埋め込みの(dis)相似性は、wsdのパフォーマンスとよく相関することがわかった。
関連論文リスト
- Together We Make Sense -- Learning Meta-Sense Embeddings from Pretrained
Static Sense Embeddings [19.12036493733793]
そこで本研究では,メタセンスの埋め込み手法として,メタセンスの埋め込みを周辺保存する手法を提案する。
提案手法は,単語感覚の異なる集合を包含するソースセンス埋め込みを組み合わせることができる。
Word Sense Disambiguation (WSD) と Word-in-Context (WiC) のタスクに対する実験結果から,提案したメタセンス埋め込み手法は競争力のあるベースラインを一貫して上回ることがわかった。
論文 参考訳（メタデータ） (2023-05-30T14:53:44Z) - Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文 参考訳（メタデータ） (2022-12-17T05:25:17Z) - A Quadratic 0-1 Programming Approach for Word Sense Disambiguation [0.0]
単語センスの曖昧さ(英: Word Sense Disambiguation, WSD)とは、ある文脈における曖昧な単語の感覚を決定するタスクである。
私たちは、正しいパターンを見つける上で大きな困難の1つとして、以下の原因を論じます。
本稿では,WSD問題を最大化する擬似プログラミングモデル (QIP) を用いて,異なる対象単語の感覚間の相互作用にアプローチする。
論文 参考訳（メタデータ） (2022-01-13T10:46:06Z) - Connect-the-Dots: Bridging Semantics between Words and Definitions via
Aligning Word Sense Inventories [47.03271152494389]
Word Sense Disambiguationは、そのコンテキストに応じて、ある単語の正確な意味を自動的に識別することを目的としている。
既存の教師付きモデルは、限られた訓練データのために稀な単語感覚の正確な予測に苦慮している。
我々は,定義文を異なる意味の在庫から同じ意味に整合させ,豊富な語彙知識を収集する光沢アライメントアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-27T00:04:33Z) - Large Scale Substitution-based Word Sense Induction [48.49573297876054]
本稿では,事前学習されたマスキング言語モデル(MLM)に基づく単語センス誘導手法を提案する。
その結果、コーパス由来の感覚インベントリに基づいて感覚タグ付けされ、各感覚が指示語に関連付けられているコーパスとなる。
本手法を用いた英語ウィキペディアの評価では,Babelfy などの WSD 手法と比較しても,誘導された感覚とインスタンスごとの感覚代入の両方が高品質であることがわかった。
論文 参考訳（メタデータ） (2021-10-14T19:40:37Z) - Learning Sense-Specific Static Embeddings using Contextualised Word
Embeddings as a Proxy [26.385418377513332]
感覚の文脈導出埋め込み(CDES)を提案する。
CDESは文脈的埋め込みから感覚関連情報を抽出し、それを静的埋め込みに注入し、センス固有の静的埋め込みを生成する。
本報告では,CDESが,現在の最先端感埋め込みに匹敵する性能を示す,感覚特異的な静的埋め込みを正確に学習可能であることを示す。
論文 参考訳（メタデータ） (2021-10-05T17:50:48Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z) - Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty
Estimation for Facial Expression Recognition [59.52434325897716]
DMUE(DMUE)という,アノテーションのあいまいさを2つの視点から解決するソリューションを提案する。
前者に対しては,ラベル空間における潜伏分布をよりよく記述するために,補助的マルチブランチ学習フレームワークを導入する。
後者の場合、インスタンス間の意味的特徴のペアワイズ関係を完全に活用して、インスタンス空間のあいまいさの程度を推定する。
論文 参考訳（メタデータ） (2021-04-01T03:21:57Z) - EDS-MEMBED: Multi-sense embeddings based on enhanced distributional
semantic structures via a graph walk over word senses [0.0]
WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。
M-SEの新たな分布意味類似度測定法を先行して導出する。
WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
論文 参考訳（メタデータ） (2021-02-27T14:36:55Z) - SensPick: Sense Picking for Word Sense Disambiguation [1.1429576742016154]
我々は,対象単語の文脈情報と関連する光沢情報の両方を用いて,単語とグルースの集合間の意味的関係をモデル化する。
We propose SensPick, a type of stacked bidirectional Long Short Term Memory (LSTM) network to perform the WSD task。
論文 参考訳（メタデータ） (2021-02-10T04:52:42Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。