論文の概要: Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy

• arxiv url: http://arxiv.org/abs/2110.02204v2
• Date: Wed, 6 Oct 2021 10:30:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-07 10:30:35.565075
• Title: Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
• Title（参考訳）: 文脈付き単語埋め込みをプロキシとして用いた感覚特異な静的埋め込みの学習
• Authors: Yi Zhou and Danushka Bollegala
• Abstract要約: 感覚の文脈導出埋め込み(CDES)を提案する。 CDESは文脈的埋め込みから感覚関連情報を抽出し、それを静的埋め込みに注入し、センス固有の静的埋め込みを生成する。 本報告では,CDESが,現在の最先端感埋め込みに匹敵する性能を示す,感覚特異的な静的埋め込みを正確に学習可能であることを示す。
• 参考スコア（独自算出の注目度）: 26.385418377513332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contextualised word embeddings generated from Neural Language Models (NLMs), such as BERT, represent a word with a vector that considers the semantics of the target word as well its context. On the other hand, static word embeddings such as GloVe represent words by relatively low-dimensional, memory- and compute-efficient vectors but are not sensitive to the different senses of the word. We propose Context Derived Embeddings of Senses (CDES), a method that extracts sense related information from contextualised embeddings and injects it into static embeddings to create sense-specific static embeddings. Experimental results on multiple benchmarks for word sense disambiguation and sense discrimination tasks show that CDES can accurately learn sense-specific static embeddings reporting comparable performance to the current state-of-the-art sense embeddings.
• Abstract（参考訳）: bertのようなニューラルネットワークモデル(nlms)から生成された文脈化された単語埋め込みは、対象語の意味とその文脈を考慮したベクターを持つ単語を表す。 一方、GloVeのような静的な単語埋め込みは、比較的低次元、メモリ、計算効率のベクトルによる単語を表現するが、単語の異なる感覚に敏感ではない。 本研究では,文脈依存型埋め込みから感覚関連情報を抽出し,それを静的な埋め込みに注入し,感覚特異的な静的な埋め込みを生成する手法である,知覚のコンテキスト派生型埋め込み(CDES)を提案する。 単語感覚の曖昧さと知覚の識別タスクのための複数のベンチマークによる実験結果から,CDESは現在の最先端感の埋め込みに匹敵する性能を示す感覚特異的な静的埋め込みを正確に学習できることが示された。

関連論文リスト

• Together We Make Sense -- Learning Meta-Sense Embeddings from Pretrained Static Sense Embeddings [19.12036493733793]
  そこで本研究では,メタセンスの埋め込み手法として,メタセンスの埋め込みを周辺保存する手法を提案する。 提案手法は,単語感覚の異なる集合を包含するソースセンス埋め込みを組み合わせることができる。 Word Sense Disambiguation (WSD) と Word-in-Context (WiC) のタスクに対する実験結果から,提案したメタセンス埋め込み手法は競争力のあるベースラインを一貫して上回ることがわかった。
  論文  参考訳（メタデータ） (2023-05-30T14:53:44Z)
• Semantic Specialization for Knowledge-based Word Sense Disambiguation [12.573927420408365]
  知識に基づくWord Sense Disambiguation (WSD) のための有望なアプローチは、ある文中の対象語に対して計算された単語に最も近い文脈的埋め込みを持つ感覚を選択することである。 本稿では,文脈適応型埋め込みを語彙知識のみを用いてWSDタスクに適応させるWSDのセマンティック・スペシャライゼーションを提案する。
  論文  参考訳（メタデータ） (2023-04-22T07:40:23Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories [47.03271152494389]
  Word Sense Disambiguationは、そのコンテキストに応じて、ある単語の正確な意味を自動的に識別することを目的としている。 既存の教師付きモデルは、限られた訓練データのために稀な単語感覚の正確な予測に苦慮している。 我々は,定義文を異なる意味の在庫から同じ意味に整合させ,豊富な語彙知識を収集する光沢アライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-27T00:04:33Z)
• Large Scale Substitution-based Word Sense Induction [48.49573297876054]
  本稿では,事前学習されたマスキング言語モデル(MLM)に基づく単語センス誘導手法を提案する。 その結果、コーパス由来の感覚インベントリに基づいて感覚タグ付けされ、各感覚が指示語に関連付けられているコーパスとなる。 本手法を用いた英語ウィキペディアの評価では,Babelfy などの WSD 手法と比較しても,誘導された感覚とインスタンスごとの感覚代入の両方が高品質であることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T19:40:37Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
  文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。 本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。 この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
  論文  参考訳（メタデータ） (2020-03-14T14:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。