論文の概要: Shades of meaning: Uncovering the geometry of ambiguous word representations through contextualised language models

• arxiv url: http://arxiv.org/abs/2304.13597v1
• Date: Wed, 26 Apr 2023 14:47:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 13:51:09.433534
• Title: Shades of meaning: Uncovering the geometry of ambiguous word representations through contextualised language models
• Title（参考訳）: 意味のシェード:文脈言語モデルによる曖昧な単語表現の幾何学の解明
• Authors: Benedetta Cevoli, Chris Watkins, Yang Gao and Kathleen Rastle
• Abstract要約: 語彙的曖昧さは言語科学に深く永続的な挑戦をもたらす。 我々の研究は、一連のシミュレーションを通して、語彙的あいまいさの心理的理解に関する新たな洞察を提供する。
• 参考スコア（独自算出の注目度）: 6.760960482418417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lexical ambiguity presents a profound and enduring challenge to the language sciences. Researchers for decades have grappled with the problem of how language users learn, represent and process words with more than one meaning. Our work offers new insight into psychological understanding of lexical ambiguity through a series of simulations that capitalise on recent advances in contextual language models. These models have no grounded understanding of the meanings of words at all; they simply learn to predict words based on the surrounding context provided by other words. Yet, our analyses show that their representations capture fine-grained meaningful distinctions between unambiguous, homonymous, and polysemous words that align with lexicographic classifications and psychological theorising. These findings provide quantitative support for modern psychological conceptualisations of lexical ambiguity and raise new challenges for understanding of the way that contextual information shapes the meanings of words across different timescales.
• Abstract（参考訳）: 語彙的曖昧さは言語科学に深く永続的な挑戦をもたらす。 何十年もの間、研究者は言語ユーザーが複数の意味を持つ単語を学び、表現し、処理する方法の問題に悩まされてきた。 我々の研究は、文脈言語モデルの最近の進歩を活かした一連のシミュレーションを通じて、語彙曖昧性の心理的理解に新たな洞察を与えている。 これらのモデルは、単語の意味を全く理解せず、単に他の単語が提供する周囲の文脈に基づいて単語を予測することを学ぶ。 しかし,これらの表現は,語彙的分類や心理的理論と整合した不明瞭,同名,多義語の微妙な区別が得られた。 これらの知見は、語彙的曖昧性の現代心理学的概念化を定量的に支援し、文脈情報が異なる時間尺度で単語の意味を形作る方法を理解するための新たな課題を提起する。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• LMs stand their Ground: Investigating the Effect of Embodiment in Figurative Language Interpretation by Language Models [0.0]
  表現言語は、その解釈が従来の順序や意味から逸脱しているため、言語モデルの課題である。 しかし、人間がメタファーを理解し解釈するのは、メタファーを具現化したメタファーから導き出すことができるためである。 本研究は、比喩文の動作がより具体化されている場合に、より大きな言語モデルが比喩文の解釈にいかに優れているかを示す。
  論文  参考訳（メタデータ） (2023-05-05T11:44:12Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Contextualized language models for semantic change detection: lessons learned [4.436724861363513]
  本稿では,ダイアクロニック・セマンティック・チェンジを検出する文脈的埋め込みに基づく手法の出力の質的分析を行う。 本研究の結果から,文脈化手法は,実際のダイアクロニック・セマンティック・シフトを行なわない単語に対して,高い変化スコアを予測できることが示唆された。 我々の結論は、事前学習された文脈化言語モデルは、語彙感覚の変化と文脈分散の変化を補う傾向にあるということである。
  論文  参考訳（メタデータ） (2022-08-31T23:35:24Z)
• What Drives the Use of Metaphorical Language? Negative Insights from Abstractness, Affect, Discourse Coherence and Contextualized Word Representations [13.622570558506265]
  特定の談話が与えられたら、どの談話特性が、リテラルな代替語ではなく、比喩的な言語の使用を引き起こすのか? 比喩的言語に対する多くのNLPアプローチは、認知的および(心理学的)言語学的洞察に依存し、談話の一貫性、抽象性、影響のモデルの定義に成功している。 本研究では,メタファー対同義語表現の文脈での活用を予測するために,確立された認知的・言語的特性に依存した5つの単純なモデルを構築した。
  論文  参考訳（メタデータ） (2022-05-23T08:08:53Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
  我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。 実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。 また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
  論文  参考訳（メタデータ） (2021-08-31T21:46:35Z)
• Exploring the Representation of Word Meanings in Context: A Case Study on Homonymy and Synonymy [0.0]
  我々は,静的モデルと文脈モデルの両方が,語彙-意味関係を適切に表現できる能力を評価する。 実験はガリシア語、ポルトガル語、英語、スペイン語で行われている。
  論文  参考訳（メタデータ） (2021-06-25T10:54:23Z)
• Low Anisotropy Sense Retrofitting (LASeR) : Towards Isotropic and Sense Enriched Representations [0.0]
  我々は表現幾何学を解析し、学習済みの言語モデルのほとんどの層が高度に異方性のある表現を作り出すことを発見した。 既成表現を等方的かつ意味的に意味的に表現する 'Low Anisotropy Sense Retrofitting' アプローチである LASeR を提案する。
  論文  参考訳（メタデータ） (2021-04-22T02:44:49Z)
• Lexical semantic change for Ancient Greek and Latin [61.69697586178796]
  歴史的文脈における単語の正しい意味の連想は、ダイアクロニック研究の中心的な課題である。 我々は、動的ベイズ混合モデルに基づくセマンティック変化に対する最近の計算的アプローチに基づいて構築する。 本研究では,動的ベイズ混合モデルと最先端埋め込みモデルとのセマンティックな変化を系統的に比較する。
  論文  参考訳（メタデータ） (2021-01-22T12:04:08Z)
• Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods [51.34667808471513]
  分散意味論のパラダイムで定式化されたセマンティック隣人のセマンティック・スパシティと周波数成長率という2つの要因の重要性について検討する。 いずれの因子も単語の出現を予測できるが,後者の仮説はより支持される。
  論文  参考訳（メタデータ） (2020-01-21T19:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。