論文の概要: Bidirectional Transformer Representations of (Spanish) Ambiguous Words in Context: A New Lexical Resource and Empirical Analysis
- arxiv url: http://arxiv.org/abs/2406.14678v1
- Date: Thu, 20 Jun 2024 18:58:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-24 18:08:45.599405
- Title: Bidirectional Transformer Representations of (Spanish) Ambiguous Words in Context: A New Lexical Resource and Empirical Analysis
- Title（参考訳）: 文脈における(スペイン語)曖昧な単語の双方向トランスフォーマー表現:新しい語彙資源と経験的分析
- Authors: Pamela D. Rivière, Anne L. Beatty-Martínez, Sean Trott,
- Abstract要約: 大規模な言語モデルの文脈化された単語埋め込みを英語以外の言語で比較する研究はほとんどない。
スペイン語のあいまいな名詞の複数の双方向トランスフォーマー(BERT)意味表現を文脈で評価した。
様々なBERTに基づくLLMの文脈的意味表現は、人間の判断に多少のばらつきがあるが、人間のベンチマークには及ばない。
- 参考スコア（独自算出の注目度）: 2.2530496464901106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lexical ambiguity -- where a single wordform takes on distinct, context-dependent meanings -- serves as a useful tool to compare across different large language models' (LLMs') ability to form distinct, contextualized representations of the same stimulus. Few studies have systematically compared LLMs' contextualized word embeddings for languages beyond English. Here, we evaluate multiple bidirectional transformers' (BERTs') semantic representations of Spanish ambiguous nouns in context. We develop a novel dataset of minimal-pair sentences evoking the same or different sense for a target ambiguous noun. In a pre-registered study, we collect contextualized human relatedness judgments for each sentence pair. We find that various BERT-based LLMs' contextualized semantic representations capture some variance in human judgments but fall short of the human benchmark, and for Spanish -- unlike English -- model scale is uncorrelated with performance. We also identify stereotyped trajectories of target noun disambiguation as a proportion of traversal through a given LLM family's architecture, which we partially replicate in English. We contribute (1) a dataset of controlled, Spanish sentence stimuli with human relatedness norms, and (2) to our evolving understanding of the impact that LLM specification (architectures, training protocols) exerts on contextualized embeddings.
- Abstract（参考訳）: 語彙的曖昧さ(Lexical ambiguity) - 単一のワードフォームが異なる文脈に依存した意味を持ち、異なる大きな言語モデルのLLM(LLM)能力を比較して、同じ刺激の異なる文脈化された表現を形成するのに役立つツールとして機能する。
LLMの文脈化された単語埋め込みを英語以外の言語に対して体系的に比較する研究はほとんどない。
ここでは、スペイン語のあいまいな名詞の複数の双方向トランスフォーマー(BERT)意味表現を文脈で評価する。
目的の曖昧な名詞に対して同じあるいは異なる感覚を喚起する最小ペア文の新たなデータセットを開発する。
事前登録された研究では,各文対に対する文脈的人間関係性判定を収集する。
さまざまなBERTベースのLLMの文脈的セマンティック表現は、人間の判断に多少の違いがあるが、人間のベンチマークには及ばず、スペイン語では(英語とは違って)モデルスケールはパフォーマンスとは無関係である。
また,目的名詞の曖昧さのステレオタイプトラジェクトリを,所与のLLMファミリーのアーキテクチャによるトラバーサルの割合として同定し,部分的に英語で再現する。
我々は,(1)人間関係規範によるスペイン語文刺激のデータセット,(2)LLM仕様(アーキテクチャ,トレーニングプロトコル)が文脈的埋め込みに与える影響の進化的理解に寄与する。
関連論文リスト
- Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。
伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。
ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-12T04:16:44Z) - How well do distributed representations convey contextual lexical semantics: a Thesis Proposal [3.3585951129432323]
本稿では,現代ニューラルネットワークによる語彙意味の符号化における分散表現の有効性について検討する。
文脈に影響された意味の関連性と類似性に基づいて,曖昧さの4つの源を同定する。
次に、多言語データセットの収集や構築、様々な言語モデルの利用、言語解析ツールの利用により、これらの情報源を評価することを目的とする。
論文 参考訳（メタデータ） (2024-06-02T14:08:51Z) - We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
あいまいさの管理は人間の言語理解の重要な部分です。
文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。
我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
論文 参考訳（メタデータ） (2023-04-27T17:57:58Z) - A Linguistic Investigation of Machine Learning based Contradiction
Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。
目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
論文 参考訳（メタデータ） (2022-10-19T10:06:03Z) - Retrofitting Multilingual Sentence Embeddings with Abstract Meaning
Representation [70.58243648754507]
抽象的意味表現(AMR)を用いた既存の多言語文の埋め込みを改善する新しい手法を提案する。
原文入力と比較すると、AMRは文の中核概念と関係を明確かつ曖昧に表す構造的意味表現である。
実験結果から,多言語文をAMRで埋め込むと,意味的類似性と伝達タスクの両方において,最先端の性能が向上することがわかった。
論文 参考訳（メタデータ） (2022-10-18T11:37:36Z) - Transition-based Abstract Meaning Representation Parsing with Contextual
Embeddings [0.0]
本研究では,意味解析のタスクにおいて,言語モデルと記号意味論の定式化という,言語の意味への最も成功したルートを2つ組み合わせる手法について検討する。
本稿では,事前学習した文脈認識単語の埋め込み(BERTやRoBERTaなど)を解析問題に組み込むことの有用性について検討する。
論文 参考訳（メタデータ） (2022-06-13T15:05:24Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - A Massively Multilingual Analysis of Cross-linguality in Shared
Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。
我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。
我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文 参考訳（メタデータ） (2021-09-13T21:05:37Z) - Exploring the Representation of Word Meanings in Context: A Case Study
on Homonymy and Synonymy [0.0]
我々は,静的モデルと文脈モデルの両方が,語彙-意味関係を適切に表現できる能力を評価する。
実験はガリシア語、ポルトガル語、英語、スペイン語で行われている。
論文 参考訳（メタデータ） (2021-06-25T10:54:23Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。