論文の概要: BERT Has Uncommon Sense: Similarity Ranking for Word Sense BERTology

• arxiv url: http://arxiv.org/abs/2109.09780v1
• Date: Mon, 20 Sep 2021 18:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 04:15:21.606513
• Title: BERT Has Uncommon Sense: Similarity Ranking for Word Sense BERTology
• Title（参考訳）: bertは常識に乏しい:word sense bertologyの類似度ランキング
• Authors: Luke Gessler, Nathan Schneider
• Abstract要約: 文脈化単語埋め込みモデルが単語感覚をいかに表現できるかを考察する。 いくつかの一般的なCWEモデルは、比例的に稀な感覚であっても、明示的な感覚の監督なしに、すべてランダムなベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 11.650381752104298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important question concerning contextualized word embedding (CWE) models like BERT is how well they can represent different word senses, especially those in the long tail of uncommon senses. Rather than build a WSD system as in previous work, we investigate contextualized embedding neighborhoods directly, formulating a query-by-example nearest neighbor retrieval task and examining ranking performance for words and senses in different frequency bands. In an evaluation on two English sense-annotated corpora, we find that several popular CWE models all outperform a random baseline even for proportionally rare senses, without explicit sense supervision. However, performance varies considerably even among models with similar architectures and pretraining regimes, with especially large differences for rare word senses, revealing that CWE models are not all created equal when it comes to approximating word senses in their native representations.
• Abstract（参考訳）: bertのような文脈化単語埋め込み(cwe)モデルに関する重要な質問は、異なる単語感覚、特に非常識の長い尾で表現できるかどうかである。 従来の作業のようにWSDシステムを構築するのではなく、コンテキスト化された埋め込み地区を直接調査し、近隣の検索タスクを探索し、異なる周波数帯域における単語や感覚のランク付け性能を調べる。 2つの英感覚注釈コーパスの評価において、いくつかの一般的なCWEモデルは、比例的に稀な感覚であっても、明示的な感覚監督なしで、ランダムなベースラインよりも優れていることがわかった。 しかし、類似したアーキテクチャや事前学習体制を持つモデルにおいても、性能は著しく異なり、特に稀な単語感覚では大きな違いがあり、CWEモデルは、その固有表現における単語感覚の近似に関して全て等しいものではないことが判明した。

関連論文リスト

• Word sense extension [8.939269057094661]
  本稿では,新しい文脈に向けて,単語が新たな感覚を創出することを可能にする,単語知覚拡張(WSE)のパラダイムを提案する。 本研究では,多文語型を異なる感覚を示す2つの擬似トークンに分割することで,単語拡張をシミュレートするフレームワークを開発する。 本フレームワークは,様々な種類の単語知覚拡張をサポートするために,言語モデル埋め込み空間を変換する学習手法と,連鎖の認知モデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-06-09T00:54:21Z)
• What do Language Models know about word senses? Zero-Shot WSD with Language Models and Domain Inventories [23.623074512572593]
  我々は,言語モデルが推論時間における感覚間の識別能力の程度を調査することを目的としている。 我々は、単語感覚とドメインの関係を利用して、単語センスの曖昧さ(WSD)をテキスト・エンターテイメント問題として位置づける。 以上の結果から,本手法は実効性があり,教師付きシステムに近いことが示唆された。
  論文  参考訳（メタデータ） (2023-02-07T09:55:07Z)
• Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT [64.40111510974957]
  英語における主語数合意に意味が干渉するかどうかを検証する。 意味的によく形づくられた、意味のないアイテムを生成します。 BERTと人間はどちらも、セマンティックな操作に敏感である。
  論文  参考訳（メタデータ） (2022-09-21T17:57:23Z)
• Large Scale Substitution-based Word Sense Induction [48.49573297876054]
  本稿では,事前学習されたマスキング言語モデル(MLM)に基づく単語センス誘導手法を提案する。 その結果、コーパス由来の感覚インベントリに基づいて感覚タグ付けされ、各感覚が指示語に関連付けられているコーパスとなる。 本手法を用いた英語ウィキペディアの評価では,Babelfy などの WSD 手法と比較しても,誘導された感覚とインスタンスごとの感覚代入の両方が高品質であることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T19:40:37Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Sense representations for Portuguese: experiments with sense embeddings and deep neural language models [0.0]
  教師なしの感覚表現は、その文脈意味をテキストで分析することによって、単語の異なる感覚を誘導することができる。 ポルトガル語への感性埋め込みを創出するための最初の実験について述べる。
  論文  参考訳（メタデータ） (2021-08-31T18:07:01Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
  文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。 maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。 分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
  論文  参考訳（メタデータ） (2020-12-17T04:54:16Z)
• Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
  この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。 本手法は,時間的共通感覚の様々な次元の質予測を行う。 また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
  論文  参考訳（メタデータ） (2020-05-08T22:20:16Z)
• Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders [79.38278330678965]
  Word Sense Disambiguation (WSD)の主な障害は、単語感覚が均一に分散されないことである。 本稿では,(1)対象語とその周囲の文脈を独立に埋め込んだバイエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2020-05-06T04:21:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。