論文の概要: Exploring the Representation of Word Meanings in Context: A Case Study
on Homonymy and Synonymy
- arxiv url: http://arxiv.org/abs/2106.13553v2
- Date: Tue, 29 Jun 2021 07:33:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 04:10:51.314815
- Title: Exploring the Representation of Word Meanings in Context: A Case Study
on Homonymy and Synonymy
- Title（参考訳）: 文脈における単語の意味表現の探索:ホモニミーとシンノミーを事例として
- Authors: Marcos Garcia
- Abstract要約: 我々は,静的モデルと文脈モデルの両方が,語彙-意味関係を適切に表現できる能力を評価する。
実験はガリシア語、ポルトガル語、英語、スペイン語で行われている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper presents a multilingual study of word meaning representations in
context. We assess the ability of both static and contextualized models to
adequately represent different lexical-semantic relations, such as homonymy and
synonymy. To do so, we created a new multilingual dataset that allows us to
perform a controlled evaluation of several factors such as the impact of the
surrounding context or the overlap between words, conveying the same or
different senses. A systematic assessment on four scenarios shows that the best
monolingual models based on Transformers can adequately disambiguate homonyms
in context. However, as they rely heavily on context, these models fail at
representing words with different senses when occurring in similar sentences.
Experiments are performed in Galician, Portuguese, English, and Spanish, and
both the dataset (with more than 3,000 evaluation items) and new models are
freely released with this study.
- Abstract（参考訳）: 本稿では,文脈における単語の意味表現の多言語的研究について述べる。
我々は,静的モデルと文脈モデルの両方が,同義語や同義語などの語彙関係を適切に表現できる能力を評価する。
そこで我々は,周囲の文脈の影響や単語間の重なりなど,複数の要因の制御された評価を行い,同一あるいは異なる感覚を伝達できる,新たな多言語データセットを作成した。
4つのシナリオに関する体系的な評価は、トランスフォーマーに基づく最良の単言語モデルが文脈におけるホモニムを適切に曖昧化することができることを示している。
しかし、これらのモデルは文脈に大きく依存しているため、類似した文で発生する異なる感覚の単語を表現できない。
ガリシア語、ポルトガル語、英語、スペイン語で実験が行われ、データセット(3000以上の評価項目を含む)と新しいモデルの両方がこの研究で自由にリリースされる。
関連論文リスト
- Bidirectional Transformer Representations of (Spanish) Ambiguous Words in Context: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
大規模な言語モデルの文脈化された単語埋め込みを英語以外の言語で比較する研究はほとんどない。
スペイン語のあいまいな名詞の複数の双方向トランスフォーマー(BERT)意味表現を文脈で評価した。
様々なBERTに基づくLLMの文脈的意味表現は、人間の判断に多少のばらつきがあるが、人間のベンチマークには及ばない。
論文 参考訳（メタデータ） (2024-06-20T18:58:11Z) - Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T16:24:01Z) - Shades of meaning: Uncovering the geometry of ambiguous word
representations through contextualised language models [6.760960482418417]
語彙的曖昧さは言語科学に深く永続的な挑戦をもたらす。
我々の研究は、一連のシミュレーションを通して、語彙的あいまいさの心理的理解に関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2023-04-26T14:47:38Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Lost in Context? On the Sense-wise Variance of Contextualized Word
Embeddings [11.475144702935568]
各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。
単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
論文 参考訳（メタデータ） (2022-08-20T12:27:25Z) - Visual Comparison of Language Model Adaptation [55.92129223662381]
アダプタは、モデル適応のための軽量な代替品です。
本稿では,インタラクティブな視覚的説明手法について,いくつかの設計と代替案について論じる。
例えば、文脈0の埋め込みに従って言語脱バイアスタスクを訓練したアダプタが、新しいタイプのバイアスをもたらすことを示す。
論文 参考訳（メタデータ） (2022-08-17T09:25:28Z) - Patterns of Lexical Ambiguity in Contextualised Language Models [9.747449805791092]
本稿では,単語感覚の類似度と共述度を拡張した,人間による注釈付きデータセットを提案する。
どちらの人間の判断も、多文解釈の類似性は意味の同一性とホモニミーの連続性にあることを示している。
我々のデータセットは、語彙的曖昧性の複雑さの大部分を捉えており、文脈的埋め込みのための現実的なテストベッドを提供することができる。
論文 参考訳（メタデータ） (2021-09-27T13:11:44Z) - Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。
提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2021-04-20T17:56:24Z) - XL-WiC: A Multilingual Benchmark for Evaluating Semantic
Contextualization [98.61159823343036]
単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。
我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。
実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
論文 参考訳（メタデータ） (2020-10-13T15:32:00Z) - Probing Contextual Language Models for Common Ground with Visual
Representations [76.05769268286038]
我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。
以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。
視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
論文 参考訳（メタデータ） (2020-05-01T21:28:28Z) - Sentiment Analysis with Contextual Embeddings and Self-Attention [3.0079490585515343]
自然言語では、単語や句の意図された意味はしばしば暗黙的であり、文脈に依存する。
本稿では,文脈埋め込みと自己認識機構を用いた感情分析の簡易かつ効果的な手法を提案する。
形態学的にリッチなポーランド語とドイツ語を含む3つの言語の実験結果から、我々のモデルは最先端のモデルに匹敵するか、さらに優れています。
論文 参考訳（メタデータ） (2020-03-12T02:19:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。