論文の概要: Probing Large Language Models for Scalar Adjective Lexical Semantics and Scalar Diversity Pragmatics

• arxiv url: http://arxiv.org/abs/2404.03301v1
• Date: Thu, 4 Apr 2024 08:52:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 15:24:04.188878
• Title: Probing Large Language Models for Scalar Adjective Lexical Semantics and Scalar Diversity Pragmatics
• Title（参考訳）: スカラー形形容詞の語彙意味論とスカラー多様性プラグマティクスのための大規模言語モデルの提案
• Authors: Fangru Lin, Daniel Altshuler, Janet B. Pierrehumbert,
• Abstract要約: 我々は、スカラー形容詞の語彙意味論の知識を得るために、大規模言語モデルの異なるファミリーを探索する。 それらがスカラー形容詞に関する豊富な語彙・意味情報を符号化していることがわかった。 私たちはまた、異なるサイズと複雑さの現在のモデルを比較し、より大きなモデルは必ずしも良いとは限らないことに気付きます。
• 参考スコア（独自算出の注目度）: 11.79778723980276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scalar adjectives pertain to various domain scales and vary in intensity within each scale (e.g. certain is more intense than likely on the likelihood scale). Scalar implicatures arise from the consideration of alternative statements which could have been made. They can be triggered by scalar adjectives and require listeners to reason pragmatically about them. Some scalar adjectives are more likely to trigger scalar implicatures than others. This phenomenon is referred to as scalar diversity. In this study, we probe different families of Large Language Models such as GPT-4 for their knowledge of the lexical semantics of scalar adjectives and one specific aspect of their pragmatics, namely scalar diversity. We find that they encode rich lexical-semantic information about scalar adjectives. However, the rich lexical-semantic knowledge does not entail a good understanding of scalar diversity. We also compare current models of different sizes and complexities and find that larger models are not always better. Finally, we explain our probing results by leveraging linguistic intuitions and model training objectives.
• Abstract（参考訳）: スカラー形容詞は様々な領域スケールに関係し、各スケールで強度が異なる(例えば、確率スケールではより強い)。 Scalar命令は、実行された可能性のある代替ステートメントを考慮することで発生します。 それらはスカラー形容詞によって引き起こされ、リスナーに現実的な推論を要求する。 いくつかのスカラー形容詞は、他のスカラー形容詞よりもスカラー形容詞を誘発する傾向がある。 この現象はスカラー多様性と呼ばれる。 本研究では, GPT-4 のような大規模言語モデルの語彙的意味論の知識と,その実用性,すなわちスカラー多様性の1つの側面を探索する。 それらがスカラー形容詞に関する豊富な語彙・意味情報を符号化していることがわかった。 しかし、豊かな語彙-意味の知識は、スカラーの多様性を十分に理解する必要はない。 私たちはまた、異なるサイズと複雑さの現在のモデルを比較し、より大きなモデルは必ずしも良いとは限らないことに気付きます。 最後に,言語的直観とモデル学習の目的を活用することで,探索結果を説明する。

関連論文リスト

• Are LLMs Models of Distributional Semantics? A Case Study on Quantifiers [14.797001158310092]
  分布意味論モデルは真理条件推論や記号処理に苦しむ。 期待とは対照的に、LSMは正確な量化器とあいまいな量化器の人間の判断とより密接に一致している。
  論文  参考訳（メタデータ） (2024-10-17T19:28:35Z)
• Not wacky vs. definitely wacky: A study of scalar adverbs in pretrained language models [0.0]
  BERT、RoBERTa、GPT-3といった現代の事前訓練された言語モデルは、古典的な静的単語の埋め込みよりも論理的なタスクでより良いパフォーマンスを期待している。 本稿では,BERT,RoBERTa,GPT-2,GPT-3が,これらの共通語に対する一般人的な知識を示す範囲について検討する。 論理的な意味のいくつかの側面を捉えているにもかかわらず、モデルは人間のパフォーマンスにかなり劣っていることが分かりました。
  論文  参考訳（メタデータ） (2023-05-25T18:56:26Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Language statistics at different spatial, temporal, and grammatical scales [48.7576911714538]
  Twitterのデータを使って、さまざまなスケールでランクの多様性を探求しています。 最も大きな変化は、文法的なスケールのバリエーションによる。 文法スケールが大きくなるにつれて、ランクの多様性曲線は時間スケールや空間スケールによって大きく変化する。
  論文  参考訳（メタデータ） (2022-07-02T01:38:48Z)
• Scalar Adjective Identification and Multilingual Ranking [4.915907527975786]
  新しい言語におけるスカラー形容詞の研究を促進するために、新しい多言語データセットを導入します。 我々は、単言語および多言語文脈言語モデルを用いて、一連の実験を行い、このデータセットにパフォーマンスベースラインを設定する。 英語スカラー形容詞識別のための新しいバイナリ分類タスクを提案する。
  論文  参考訳（メタデータ） (2021-05-03T21:32:41Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)
• Do Language Embeddings Capture Scales? [54.1633257459927]
  事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。 我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
  論文  参考訳（メタデータ） (2020-10-11T21:11:09Z)
• Investigating Cross-Linguistic Adjective Ordering Tendencies with a Latent-Variable Model [66.84264870118723]
  本稿では,多言語形容詞順序付けを潜在変数モデルとして,初めて純粋コーパス駆動モデルを提案する。 我々は普遍的、言語横断的、階層的形容詞順序付け傾向の存在の強い確固たる証拠を提供する。
  論文  参考訳（メタデータ） (2020-10-09T18:27:55Z)
• BERT Knows Punta Cana is not just beautiful, it's gorgeous: Ranking Scalar Adjectives with Contextualised Representations [6.167728295758172]
  本研究では,スカラー形容詞の強度検出のためのBERTに基づく新しい手法を提案する。 文脈表現から直接導出されるベクトルによる強度をモデル化し,スカラー形容詞のランク付けに成功していることを示す。
  論文  参考訳（メタデータ） (2020-10-06T13:05:47Z)
• Are All Good Word Vector Spaces Isomorphic? [79.04509759167952]
  言語ペア間の性能のばらつきは, 類型的差異によるだけでなく, 利用可能なモノリンガル資源の大きさによるところが大きい。
  論文  参考訳（メタデータ） (2020-04-08T15:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。