論文の概要: Scope Ambiguities in Large Language Models

• arxiv url: http://arxiv.org/abs/2404.04332v1
• Date: Fri, 5 Apr 2024 18:01:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 23:27:22.525293
• Title: Scope Ambiguities in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるスコープの曖昧さ
• Authors: Gaurav Kamath, Sebastian Schuster, Sowmya Vajjala, Siva Reddy,
• Abstract要約: 自己回帰言語モデルの異なるバージョンがスコープ不明瞭な文をどのように扱うかを検討する。 我々は,約1000のユニークなスコープあいまいな文を含む新しいデータセットを提案する。 これらのデータセットを用いて、これらの文における曖昧さの意味にいくつかのモデルが敏感であることを示す。
• 参考スコア（独自算出の注目度）: 29.427341094882966
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sentences containing multiple semantic operators with overlapping scope often create ambiguities in interpretation, known as scope ambiguities. These ambiguities offer rich insights into the interaction between semantic structure and world knowledge in language processing. Despite this, there has been little research into how modern large language models treat them. In this paper, we investigate how different versions of certain autoregressive language models -- GPT-2, GPT-3/3.5, Llama 2 and GPT-4 -- treat scope ambiguous sentences, and compare this with human judgments. We introduce novel datasets that contain a joint total of almost 1,000 unique scope-ambiguous sentences, containing interactions between a range of semantic operators, and annotated for human judgments. Using these datasets, we find evidence that several models (i) are sensitive to the meaning ambiguity in these sentences, in a way that patterns well with human judgments, and (ii) can successfully identify human-preferred readings at a high level of accuracy (over 90% in some cases).
• Abstract（参考訳）: 重複するスコープを持つ複数の意味演算子を含む文は、しばしばスコープ曖昧性として知られる解釈の曖昧さを生み出す。 これらの曖昧さは、言語処理における意味構造と世界知識の間の相互作用に関する豊富な洞察を提供する。 それにもかかわらず、現代の大規模言語モデルがどのようにそれらを扱うかについてはほとんど研究されていない。 本稿では,GPT-2,GPT-3/3.5,Llama 2,GPT-4といった自己回帰言語モデルの異なるバージョンが,対象不明瞭な文をどのように扱うかを検討し,これを人間の判断と比較する。 そこで本研究では,約1000の文を共同で含む新しいデータセットについて紹介する。 これらのデータセットを用いて、いくつかのモデルが示す証拠を見つける 一 これらの文の意味あいまいさに敏感で、人間の判断に相応しいパターンを呈し、 (二)高い精度(場合によっては90%以上)で人為的な読み出しを識別することに成功した。

関連論文リスト

• Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs) [0.35069196259739965]
  言語的曖昧さは、自然言語処理(NLP)システムにとって重要な課題である。 近年のChatGPTやGeminiのような教育モデルの成功に触発されて,これらのモデルにおける言語的あいまいさを分析し,議論することを目的とした。
  論文  参考訳（メタデータ） (2024-04-25T14:45:07Z)
• Exploring the Potential of Large Foundation Models for Open-Vocabulary HOI Detection [9.788417605537965]
  条件付き多レベルデコードと細粒度セマンティックエンハンスメントを備えた新しいエンドツーエンドオープン語彙HOI検出フレームワークを提案する。 提案手法は,開語彙HOI検出の最先端化を実現する。
  論文  参考訳（メタデータ） (2024-04-09T10:27:22Z)
• A Taxonomy of Ambiguity Types for NLP [53.10379645698917]
  NLP分析を容易にするために,英語で見られるあいまいさの分類法を提案する。 私たちの分類学は、言語あいまいさデータにおいて意味のある分割を実現するのに役立ち、データセットとモデルパフォーマンスのよりきめ細かい評価を可能にします。
  論文  参考訳（メタデータ） (2024-03-21T01:47:22Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。