論文の概要: Together We Make Sense -- Learning Meta-Sense Embeddings from Pretrained Static Sense Embeddings

• arxiv url: http://arxiv.org/abs/2305.19092v1
• Date: Tue, 30 May 2023 14:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 15:44:23.162373
• Title: Together We Make Sense -- Learning Meta-Sense Embeddings from Pretrained Static Sense Embeddings
• Title（参考訳）: 共にセンスを作る - 事前訓練された静的センス埋め込みからメタセンス埋め込みを学ぶ
• Authors: Haochen Luo, Yi Zhou, Danushka Bollegala
• Abstract要約: そこで本研究では,メタセンスの埋め込み手法として,メタセンスの埋め込みを周辺保存する手法を提案する。 提案手法は,単語感覚の異なる集合を包含するソースセンス埋め込みを組み合わせることができる。 Word Sense Disambiguation (WSD) と Word-in-Context (WiC) のタスクに対する実験結果から,提案したメタセンス埋め込み手法は競争力のあるベースラインを一貫して上回ることがわかった。
• 参考スコア（独自算出の注目度）: 19.12036493733793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sense embedding learning methods learn multiple vectors for a given ambiguous word, corresponding to its different word senses. For this purpose, different methods have been proposed in prior work on sense embedding learning that use different sense inventories, sense-tagged corpora and learning methods. However, not all existing sense embeddings cover all senses of ambiguous words equally well due to the discrepancies in their training resources. To address this problem, we propose the first-ever meta-sense embedding method -- Neighbour Preserving Meta-Sense Embeddings, which learns meta-sense embeddings by combining multiple independently trained source sense embeddings such that the sense neighbourhoods computed from the source embeddings are preserved in the meta-embedding space. Our proposed method can combine source sense embeddings that cover different sets of word senses. Experimental results on Word Sense Disambiguation (WSD) and Word-in-Context (WiC) tasks show that the proposed meta-sense embedding method consistently outperforms several competitive baselines.
• Abstract（参考訳）: 感覚埋め込み学習法は、与えられた曖昧な単語に対して複数のベクトルを学習する。 この目的のために, センスインベントリ, センスタグ付きコーパス, 学習方法を用いた感覚埋め込み学習の先行研究において, 様々な手法が提案されている。 しかし、既存のすべての感覚埋め込みが、トレーニングリソースの相違により、曖昧な言葉のあらゆる感覚を均等にカバーしているわけではない。 そこで,本研究では,複数の個別に訓練されたソース感覚埋め込みを組み合わせることで,ソース埋め込みから計算された感覚がメタ埋め込み空間に保存されるようにすることで,メタセンス埋め込みを学習するメタセンス埋め込みの保存手法を提案する。 提案手法は,異なる単語知覚セットをカバーするソースセンス埋め込みを組み合わせることができる。 Word Sense Disambiguation (WSD) と Word-in-Context (WiC) のタスクに対する実験結果から,提案したメタセンス埋め込み手法は競争力のあるベースラインを一貫して上回ることがわかった。

関連論文リスト

• Semantic Specialization for Knowledge-based Word Sense Disambiguation [12.573927420408365]
  知識に基づくWord Sense Disambiguation (WSD) のための有望なアプローチは、ある文中の対象語に対して計算された単語に最も近い文脈的埋め込みを持つ感覚を選択することである。 本稿では,文脈適応型埋め込みを語彙知識のみを用いてWSDタスクに適応させるWSDのセマンティック・スペシャライゼーションを提案する。
  論文  参考訳（メタデータ） (2023-04-22T07:40:23Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories [47.03271152494389]
  Word Sense Disambiguationは、そのコンテキストに応じて、ある単語の正確な意味を自動的に識別することを目的としている。 既存の教師付きモデルは、限られた訓練データのために稀な単語感覚の正確な予測に苦慮している。 我々は,定義文を異なる意味の在庫から同じ意味に整合させ,豊富な語彙知識を収集する光沢アライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-27T00:04:33Z)
• Large Scale Substitution-based Word Sense Induction [48.49573297876054]
  本稿では,事前学習されたマスキング言語モデル(MLM)に基づく単語センス誘導手法を提案する。 その結果、コーパス由来の感覚インベントリに基づいて感覚タグ付けされ、各感覚が指示語に関連付けられているコーパスとなる。 本手法を用いた英語ウィキペディアの評価では,Babelfy などの WSD 手法と比較しても,誘導された感覚とインスタンスごとの感覚代入の両方が高品質であることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T19:40:37Z)
• Toward a Visual Concept Vocabulary for GAN Latent Space [74.12447538049537]
  本稿では,GANの潜在空間で表現される原始視覚概念のオープンエンド語彙を構築するための新しい手法を提案する。 提案手法は, 層選択性に基づく知覚的正当方向の自動識別, 自由形, 構成的自然言語記述による人為的アノテーションの3つの要素から構成される。 実験により、我々のアプローチで学んだ概念は信頼性があり、構成可能であることが示され、クラス、コンテキスト、オブザーバをまたいで一般化される。
  論文  参考訳（メタデータ） (2021-10-08T17:58:19Z)
• Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy [26.385418377513332]
  感覚の文脈導出埋め込み(CDES)を提案する。 CDESは文脈的埋め込みから感覚関連情報を抽出し、それを静的埋め込みに注入し、センス固有の静的埋め込みを生成する。 本報告では,CDESが,現在の最先端感埋め込みに匹敵する性能を示す,感覚特異的な静的埋め込みを正確に学習可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-05T17:50:48Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)
• Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders [79.38278330678965]
  Word Sense Disambiguation (WSD)の主な障害は、単語感覚が均一に分散されないことである。 本稿では,(1)対象語とその周囲の文脈を独立に埋め込んだバイエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-05-06T04:21:45Z)
• Decomposing Word Embedding with the Capsule Network [23.294890047230584]
  そこで本稿では,曖昧な単語の教師なし単語の埋め込みをコンテキスト固有のセンス埋め込みに分解するカプセルネットワーク方式を提案する。 注意操作により、CapsDecE2Sは単語コンテキストを統合し、複数の形態素様ベクトルをコンテキスト固有の感覚埋め込みに再構成する。 本手法では,感覚学習を二分分類に変換し,マッチングラベルと非マッチングによって感覚の関係を明示的に学習する。
  論文  参考訳（メタデータ） (2020-04-07T06:37:27Z)
• Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
  文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。 本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。 この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
  論文  参考訳（メタデータ） (2020-03-14T14:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。