論文の概要: Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge

• arxiv url: http://arxiv.org/abs/2010.13057v1
• Date: Sun, 25 Oct 2020 07:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 04:40:17.760914
• Title: Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge
• Title（参考訳）: ヒューマンライクな単語センス知識の側面をエンコードする文脈型単語埋め込み
• Authors: Sathvik Nair, Mahesh Srinivasan, Stephan Meylan
• Abstract要約: NLPの最近の進歩、特に文脈的単語埋め込みは、英語の単語感覚間の人間的な区別を捉えているかどうかを考察する。 BERT埋め込み空間における感覚間の距離と,感覚間の関連性に関する被験者の判断が相関していることが判明した。 本研究は,意味の連続空間表現の有用性を示唆するものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding context-dependent variation in word meanings is a key aspect of human language comprehension supported by the lexicon. Lexicographic resources (e.g., WordNet) capture only some of this context-dependent variation; for example, they often do not encode how closely senses, or discretized word meanings, are related to one another. Our work investigates whether recent advances in NLP, specifically contextualized word embeddings, capture human-like distinctions between English word senses, such as polysemy and homonymy. We collect data from a behavioral, web-based experiment, in which participants provide judgments of the relatedness of multiple WordNet senses of a word in a two-dimensional spatial arrangement task. We find that participants' judgments of the relatedness between senses are correlated with distances between senses in the BERT embedding space. Homonymous senses (e.g., bat as mammal vs. bat as sports equipment) are reliably more distant from one another in the embedding space than polysemous ones (e.g., chicken as animal vs. chicken as meat). Our findings point towards the potential utility of continuous-space representations of sense meanings.
• Abstract（参考訳）: 単語の意味における文脈依存的な変化を理解することは、語彙が支持する人間の言語理解の重要な側面である。 語彙的資源(例えばWordNet)は、この文脈に依存した変化のいくつかのみを捉え、例えば、それらがいかに密接な感覚や識別された単語の意味が互いに関連しているかをコード化しないことが多い。 本研究は,近年のNLP,特に文脈的単語埋め込みの進歩が,多義語やホモニミーといった英単語感覚の人間的な区別を捉えているかどうかを考察する。 我々は,2次元空間配置タスクにおいて,参加者が単語の複数ワードネット感覚の関連性判定を行う行動Webベースの実験からデータを収集した。 BERT埋め込み空間における感覚間の距離と,感覚間の関連性に関する被験者の判断が相関していることがわかった。 共生感覚(例えば、哺乳動物としてのコウモリとスポーツ用品としてのコウモリ)は、多肉類(例えば、鶏は動物として、鶏は肉として、鶏は肉として)よりも、埋め込み空間において互いに確実に距離を置いている。 本研究は,感覚意味の連続空間表現の潜在的有用性を示す。

関連論文リスト

• Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models [53.840982361119565]
  コンポジションスコアは、文理解中に意味合成の度合いを定量化するために設計された、新しいモデルに基づく計量である。 実験結果から, 単語の頻度, 構造処理, 単語に対する一般感性に関連する脳クラスタとの関連が示唆された。
  論文  参考訳（メタデータ） (2024-03-07T08:44:42Z)
• Quantifying the redundancy between prosody and text [67.07817268372743]
  我々は大きな言語モデルを用いて、韻律と単語自体の間にどれだけの情報が冗長であるかを推定する。 単語が持つ情報と韻律情報の間には,複数の韻律的特徴にまたがる高い冗長性が存在する。 それでも、韻律的特徴はテキストから完全には予測できないことが観察され、韻律は単語の上下に情報を運ぶことが示唆された。
  論文  参考訳（メタデータ） (2023-11-28T21:15:24Z)
• Can Word Sense Distribution Detect Semantic Changes of Words? [35.17635565325166]
  単語感覚分布は、英語、ドイツ語、スウェーデン語、ラテン語の単語の意味変化を正確に予測するために使用できることを示す。 SemEval 2020 Task 1のデータセットを用いた実験結果から,単語の意味的変化を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:41:27Z)
• Word sense extension [8.939269057094661]
  本稿では,新しい文脈に向けて,単語が新たな感覚を創出することを可能にする,単語知覚拡張(WSE)のパラダイムを提案する。 本研究では,多文語型を異なる感覚を示す2つの擬似トークンに分割することで,単語拡張をシミュレートするフレームワークを開発する。 本フレームワークは,様々な種類の単語知覚拡張をサポートするために,言語モデル埋め込み空間を変換する学習手法と,連鎖の認知モデルを組み合わせる。
  論文  参考訳（メタデータ） (2023-06-09T00:54:21Z)
• Neighboring Words Affect Human Interpretation of Saliency Explanations [65.29015910991261]
  単語レベルのサリエンシの説明は、しばしばテキストベースのモデルで特徴属性を伝えるために使われる。 近年の研究では、単語の長さなどの表面的要因が、コミュニケーションされたサリエンシスコアの人間の解釈を歪めてしまうことが報告されている。 本研究では,単語の近傍にある単語のマーキングが,その単語の重要性に対する説明者の認識にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2023-05-04T09:50:25Z)
• Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT [64.40111510974957]
  英語における主語数合意に意味が干渉するかどうかを検証する。 意味的によく形づくられた、意味のないアイテムを生成します。 BERTと人間はどちらも、セマンティックな操作に敏感である。
  論文  参考訳（メタデータ） (2022-09-21T17:57:23Z)
• Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
  各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。 単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
  論文  参考訳（メタデータ） (2022-08-20T12:27:25Z)
• Exploring the Sensory Spaces of English Perceptual Verbs in Natural Language Data [0.40611352512781856]
  エージェント対経験的区別から分析された英語の最も頻繁な知覚動詞に着目した。 本研究では,分散-意味的単語埋め込みとクラスタリングモデルに基づくデータ駆動型アプローチについて報告する。
  論文  参考訳（メタデータ） (2021-10-19T03:58:44Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• RAW-C: Relatedness of Ambiguous Words--in Context (A New Lexical Resource for English) [2.792030485253753]
  文脈的埋め込みが単語の意味の連続的、動的性質にどの程度適合しているかを評価する。 我々は、コサイン距離が、人間が同じ単語の感覚をいかに利用しているかを体系的に過小評価していることを示す。 本稿では,精神語彙の心理言語学理論と語彙意味論の計算モデルとの合成を提案する。
  論文  参考訳（メタデータ） (2021-05-27T16:07:13Z)
• Speakers Fill Lexical Semantic Gaps with Context [65.08205006886591]
  我々は単語の語彙的あいまいさを意味のエントロピーとして運用する。 単語のあいまいさの推定値と,WordNetにおける単語の同義語数との間には,有意な相関関係が認められた。 これは、あいまいさの存在下では、話者が文脈をより情報的にすることで補うことを示唆している。
  論文  参考訳（メタデータ） (2020-10-05T17:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。