Fugu-MT 論文翻訳(概要): On the Curious Case of $\ell

論文の概要: On the Curious Case of $\ell_2$ norm of Sense Embeddings

arxiv url: http://arxiv.org/abs/2210.14815v1
Date: Wed, 26 Oct 2022 16:04:15 GMT
ステータス: 処理完了
システム内更新日: 2022-10-27 14:30:25.625752
Title: On the Curious Case of $\ell_2$ norm of Sense Embeddings
Title（参考訳）: 感覚埋め込みの$\ell_2$ノルムの奇妙な場合について
Authors: Yi Zhou and Danushka Bollegala
Abstract要約: 感覚埋め込みの$ell$ノルムは、感覚埋め込みの学習に使用されるトレーニングコーパスにおいて、その感覚の周波数に関連する情報をエンコードすることを示す。この発見は、単語埋め込みの既知の関係を拡張して、単語埋め込みを感知すると見なすことができる。
参考スコア（独自算出の注目度）: 22.588178268219703
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We show that the $\ell_2$ norm of a static sense embedding encodes information related to the frequency of that sense in the training corpus used to learn the sense embeddings. This finding can be seen as an extension of a previously known relationship for word embeddings to sense embeddings. Our experimental results show that, in spite of its simplicity, the $\ell_2$ norm of sense embeddings is a surprisingly effective feature for several word sense related tasks such as (a) most frequent sense prediction, (b) Word-in-Context (WiC), and (c) Word Sense Disambiguation (WSD). In particular, by simply including the $\ell_2$ norm of a sense embedding as a feature in a classifier, we show that we can improve WiC and WSD methods that use static sense embeddings.
Abstract（参考訳）: 静的な感覚埋め込みの$\ell_2$ノルムは、感覚埋め込みを学ぶのに使用されるトレーニングコーパスにおいて、その感覚の頻度に関連する情報をエンコードする。この発見は、以前知られていた単語埋め込みと埋め込みを感知するための関係の拡張と見なすことができる。我々の実験結果によると、単純さにもかかわらず、$\ell_2$ norm of sense embeddedsは、単語感覚関連タスクにおいて驚くほど効果的である。 (a)最も頻繁な感覚予測 (b)Word-in-Context(WiC)、および (c)単語感覚曖昧さ解消(wsd)。特に、分類器の機能としてのセンス埋め込みの$\ell_2$ノルムを単に含んで、静的なセンス埋め込みを使用するWiCおよびWSDメソッドを改善することができることを示す。

関連論文リスト

Together We Make Sense -- Learning Meta-Sense Embeddings from Pretrained Static Sense Embeddings [19.12036493733793]
そこで本研究では,メタセンスの埋め込み手法として,メタセンスの埋め込みを周辺保存する手法を提案する。提案手法は,単語感覚の異なる集合を包含するソースセンス埋め込みを組み合わせることができる。 Word Sense Disambiguation (WSD) と Word-in-Context (WiC) のタスクに対する実験結果から,提案したメタセンス埋め込み手法は競争力のあるベースラインを一貫して上回ることがわかった。
論文参考訳（メタデータ） (2023-05-30T14:53:44Z)
DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings [51.274478128525686]
DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
論文参考訳（メタデータ） (2022-04-21T17:32:01Z)
Connect-the-Dots: Bridging Semantics between Words and Definitions via Aligning Word Sense Inventories [47.03271152494389]
Word Sense Disambiguationは、そのコンテキストに応じて、ある単語の正確な意味を自動的に識別することを目的としている。既存の教師付きモデルは、限られた訓練データのために稀な単語感覚の正確な予測に苦慮している。我々は,定義文を異なる意味の在庫から同じ意味に整合させ,豊富な語彙知識を収集する光沢アライメントアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-10-27T00:04:33Z)
Large Scale Substitution-based Word Sense Induction [48.49573297876054]
本稿では,事前学習されたマスキング言語モデル(MLM)に基づく単語センス誘導手法を提案する。その結果、コーパス由来の感覚インベントリに基づいて感覚タグ付けされ、各感覚が指示語に関連付けられているコーパスとなる。本手法を用いた英語ウィキペディアの評価では,Babelfy などの WSD 手法と比較しても,誘導された感覚とインスタンスごとの感覚代入の両方が高品質であることがわかった。
論文参考訳（メタデータ） (2021-10-14T19:40:37Z)
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy [26.385418377513332]
感覚の文脈導出埋め込み(CDES)を提案する。 CDESは文脈的埋め込みから感覚関連情報を抽出し、それを静的埋め込みに注入し、センス固有の静的埋め込みを生成する。本報告では,CDESが,現在の最先端感埋め込みに匹敵する性能を示す,感覚特異的な静的埋め込みを正確に学習可能であることを示す。
論文参考訳（メタデータ） (2021-10-05T17:50:48Z)
SensPick: Sense Picking for Word Sense Disambiguation [1.1429576742016154]
我々は,対象単語の文脈情報と関連する光沢情報の両方を用いて,単語とグルースの集合間の意味的関係をモデル化する。 We propose SensPick, a type of stacked bidirectional Long Short Term Memory (LSTM) network to perform the WSD task。
論文参考訳（メタデータ） (2021-02-10T04:52:42Z)
R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。最初にBERTを使用して、グローバルな視点から入力文をエンコードします。次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
論文参考訳（メタデータ） (2020-12-16T13:11:30Z)
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文参考訳（メタデータ） (2020-09-23T15:45:32Z)
Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders [79.38278330678965]
Word Sense Disambiguation (WSD)の主な障害は、単語感覚が均一に分散されないことである。本稿では,(1)対象語とその周囲の文脈を独立に埋め込んだバイエンコーダモデルを提案する。
論文参考訳（メタデータ） (2020-05-06T04:21:45Z)
Decomposing Word Embedding with the Capsule Network [23.294890047230584]
そこで本稿では,曖昧な単語の教師なし単語の埋め込みをコンテキスト固有のセンス埋め込みに分解するカプセルネットワーク方式を提案する。注意操作により、CapsDecE2Sは単語コンテキストを統合し、複数の形態素様ベクトルをコンテキスト固有の感覚埋め込みに再構成する。本手法では,感覚学習を二分分類に変換し,マッチングラベルと非マッチングによって感覚の関係を明示的に学習する。
論文参考訳（メタデータ） (2020-04-07T06:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。