論文の概要: We're Afraid Language Models Aren't Modeling Ambiguity

• arxiv url: http://arxiv.org/abs/2304.14399v2
• Date: Fri, 20 Oct 2023 05:46:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 12:25:38.291143
• Title: We're Afraid Language Models Aren't Modeling Ambiguity
• Title（参考訳）: 言語モデルは曖昧さをモデル化していません
• Authors: Alisa Liu, Zhaofeng Wu, Julian Michael, Alane Suhr, Peter West, Alexander Koller, Swabha Swayamdipta, Noah A. Smith, Yejin Choi
• Abstract要約: あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
• 参考スコア（独自算出の注目度）: 136.8068419824318
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ambiguity is an intrinsic feature of natural language. Managing ambiguity is a key part of human language understanding, allowing us to anticipate misunderstanding as communicators and revise our interpretations as listeners. As language models (LMs) are increasingly employed as dialogue interfaces and writing aids, handling ambiguous language is critical to their success. We characterize ambiguity in a sentence by its effect on entailment relations with another sentence, and collect AmbiEnt, a linguist-annotated benchmark of 1,645 examples with diverse kinds of ambiguity. We design a suite of tests based on AmbiEnt, presenting the first evaluation of pretrained LMs to recognize ambiguity and disentangle possible meanings. We find that the task remains extremely challenging, including for GPT-4, whose generated disambiguations are considered correct only 32% of the time in human evaluation, compared to 90% for disambiguations in our dataset. Finally, to illustrate the value of ambiguity-sensitive tools, we show that a multilabel NLI model can flag political claims in the wild that are misleading due to ambiguity. We encourage the field to rediscover the importance of ambiguity for NLP.
• Abstract（参考訳）: 曖昧さは自然言語の本質的な特徴である。 あいまいさの管理は人間の言語理解の重要な部分であり、コミュニケーション者として誤解を予想し、聞き手としての解釈を改めることができる。 言語モデル(lms)が対話インタフェースやaidsとして使われるようになり、あいまいな言語を扱うことが彼らの成功に不可欠である。 本研究では,文中のあいまいさが他の文との係り受け関係に与える影響を特徴付け,多種多様なあいまいさを持つ1,645例の言語学者によるベンチマークであるAmbiEntを収集する。 本研究では,AmbiEntに基づくテストスイートを設計し,事前学習したLMのあいまいさを認識し,可能な意味を乱すための最初の評価を行った。 GPT-4が生成した曖昧さは、我々のデータセットの曖昧さの90%に対して、人間の評価においてわずか32%の時間しか正しくないと考えられる。 最後に、曖昧さに敏感なツールの価値を説明するために、マルチラベルのnliモデルが曖昧さのために誤解を招く政治主張にフラグを付けることができることを示す。 我々はNLPの曖昧さの重要性を再発見するようフィールドに促す。

関連論文リスト

• Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis [2.2530496464901106]
  スペイン語の単言語モデルと多言語BERTモデルを用いて、文脈におけるスペイン語のあいまいな名詞の意味表現を評価する。 様々な BERT ベースの LM の文脈的意味表現は、人間の判断に多少の違いがあるが、ヒトのベンチマークには及ばない。
  論文  参考訳（メタデータ） (2024-06-20T18:58:11Z)
• Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs) [0.35069196259739965]
  言語的曖昧さは、自然言語処理(NLP)システムにとって重要な課題である。 近年のChatGPTやGeminiのような教育モデルの成功に触発されて,これらのモデルにおける言語的あいまいさを分析し,議論することを目的とした。
  論文  参考訳（メタデータ） (2024-04-25T14:45:07Z)
• Scope Ambiguities in Large Language Models [29.427341094882966]
  自己回帰言語モデルの異なるバージョンがスコープ不明瞭な文をどのように扱うかを検討する。 我々は,約1000のユニークなスコープあいまいな文を含む新しいデータセットを提案する。 これらのデータセットを用いて、これらの文における曖昧さの意味にいくつかのモデルが敏感であることを示す。
  論文  参考訳（メタデータ） (2024-04-05T18:01:02Z)
• A Taxonomy of Ambiguity Types for NLP [53.10379645698917]
  NLP分析を容易にするために,英語で見られるあいまいさの分類法を提案する。 私たちの分類学は、言語あいまいさデータにおいて意味のある分割を実現するのに役立ち、データセットとモデルパフォーマンスのよりきめ細かい評価を可能にします。
  論文  参考訳（メタデータ） (2024-03-21T01:47:22Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Speakers Fill Lexical Semantic Gaps with Context [65.08205006886591]
  我々は単語の語彙的あいまいさを意味のエントロピーとして運用する。 単語のあいまいさの推定値と,WordNetにおける単語の同義語数との間には,有意な相関関係が認められた。 これは、あいまいさの存在下では、話者が文脈をより情報的にすることで補うことを示唆している。
  論文  参考訳（メタデータ） (2020-10-05T17:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。