論文の概要: Pragmatic Reasoning Unlocks Quantifier Semantics for Foundation Models

• arxiv url: http://arxiv.org/abs/2311.04659v1
• Date: Wed, 8 Nov 2023 13:00:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 15:47:57.156466
• Title: Pragmatic Reasoning Unlocks Quantifier Semantics for Foundation Models
• Title（参考訳）: 実用的推論は基礎モデルの量化意味論を解き放つ
• Authors: Yiyuan Li, Rakesh R. Menon, Sayan Ghosh, Shashank Srivastava
• Abstract要約: 百科事典の百科事典では,人称注釈付き一般化量化器のクラウドソーシングデータセットQuReを紹介した。 自然言語推論とRational Speech Actsフレームワークを組み合わせたフレームワークであるPreSQUEを用いて,言語モデルにおける量化器の理解について検討する。
• 参考スコア（独自算出の注目度）: 22.757306452760112
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Generalized quantifiers (e.g., few, most) are used to indicate the proportions predicates are satisfied (for example, some apples are red). One way to interpret quantifier semantics is to explicitly bind these satisfactions with percentage scopes (e.g., 30%-40% of apples are red). This approach can be helpful for tasks like logic formalization and surface-form quantitative reasoning (Gordon and Schubert, 2010; Roy et al., 2015). However, it remains unclear if recent foundation models possess this ability, as they lack direct training signals. To explore this, we introduce QuRe, a crowd-sourced dataset of human-annotated generalized quantifiers in Wikipedia sentences featuring percentage-equipped predicates. We explore quantifier comprehension in language models using PRESQUE, a framework that combines natural language inference and the Rational Speech Acts framework. Experimental results on the HVD dataset and QuRe illustrate that PRESQUE, employing pragmatic reasoning, performs 20% better than a literal reasoning baseline when predicting quantifier percentage scopes, with no additional training required.
• Abstract（参考訳）: 一般化量化器(例:ほとんど、ほとんどの場合)は、述語が満たされる割合を示すために用いられる(例えば、リンゴは赤である)。 量化器のセマンティクスを解釈する方法の1つは、これらの満足度をパーセンテージスコープ(リンゴの30%-40%が赤)で明示的に結合することである。 このアプローチは論理形式化や表面形式量的推論(Gordon and Schubert, 2010; Roy et al., 2015)のようなタスクに有効である。 しかし、最近の基礎モデルが直接の訓練信号がないため、この能力を持っているかどうかは不明である。 そこで本研究では,人称注釈付き一般化量化器のクラウドソーシングデータセットであるQuReについて,パーセンテージ付き述語を含むウィキペディア文で紹介する。 自然言語推論とRational Speech Actsフレームワークを組み合わせたPreSQUEを用いて,言語モデルにおける量化器の理解について検討する。 HVDデータセットとQuReの実験結果によると、PureSQUEは実用的推論を用いて、量子化器パーセンテージの範囲を予測する際に、リテラル推論ベースラインよりも20%優れた性能を示し、追加のトレーニングは不要である。

関連論文リスト

• Are LLMs Models of Distributional Semantics? A Case Study on Quantifiers [14.797001158310092]
  分布意味論モデルは真理条件推論や記号処理に苦しむ。 期待とは対照的に、LSMは正確な量化器とあいまいな量化器の人間の判断とより密接に一致している。
  論文  参考訳（メタデータ） (2024-10-17T19:28:35Z)
• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• ReCOGS: How Incidental Details of a Logical Form Overshadow an Evaluation of Semantic Interpretation [63.33465936588327]
  合成一般化ベンチマークCOGSの修正版を提案する。 本結果は,構成一般化とベンチマークタスク設計の重要性を再確認するものである。
  論文  参考訳（メタデータ） (2023-03-24T00:01:24Z)
• Generalized Quantifiers as a Source of Error in Multilingual NLU Benchmarks [5.818232893255398]
  我々は、言語に依存しない量化語のセマンティクスの表現に一般化量化理論を頼っている。 定量化器はNLUベンチマークにおいて広く普及しており,テスト時に発生する量化器は性能低下と関連していることがわかった。 マルチリンガルモデルは、不満足な量化子推論能力を示すが、英語以外の言語では必ずしも悪くはない。
  論文  参考訳（メタデータ） (2022-04-22T10:21:46Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Linguists Who Use Probabilistic Models Love Them: Quantification in Functional Distributional Semantics [12.640283469603355]
  厳密な量化器を曖昧な述語で用いた場合、以前の定式化が自明な真理値を与えることを示す。 本稿では,不明瞭な述語を正確な述語に対する分布として扱うことにより,この問題を回避するために,改良された説明法を提案する。 汎用量化器は, 精度の高い量化器よりも実用的に複雑であり, 計算的にもシンプルである。
  論文  参考訳（メタデータ） (2020-06-04T16:48:45Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。