論文の概要: Do Pre-Trained Language Models Detect and Understand Semantic Underspecification? Ask the DUST!

• arxiv url: http://arxiv.org/abs/2402.12486v1
• Date: Mon, 19 Feb 2024 19:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 18:24:23.674255
• Title: Do Pre-Trained Language Models Detect and Understand Semantic Underspecification? Ask the DUST!
• Title（参考訳）: 事前訓練された言語モデルは意味的不特定を検出するか? Ask the DUST!
• Authors: Frank Wildenburg, Michael Hanna, Sandro Pezzelle
• Abstract要約: 本研究では,事前訓練された言語モデル(LM)が不特定文を正しく識別し,解釈するかどうかを検討する。 実験の結果,不特定文の解釈においては,不特定文の理論的説明が予測する内容とは対照的に,不確実性はほとんど認められなかった。
• 参考スコア（独自算出の注目度）: 4.58500479791574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In everyday language use, speakers frequently utter and interpret sentences that are semantically underspecified, namely, whose content is insufficient to fully convey their message or interpret them univocally. For example, to interpret the underspecified sentence "Don't spend too much", which leaves implicit what (not) to spend, additional linguistic context or outside knowledge is needed. In this work, we propose a novel Dataset of semantically Underspecified Sentences grouped by Type (DUST) and use it to study whether pre-trained language models (LMs) correctly identify and interpret underspecified sentences. We find that newer LMs are reasonably able to identify underspecified sentences when explicitly prompted. However, interpreting them correctly is much harder for any LMs. Our experiments show that when interpreting underspecified sentences, LMs exhibit little uncertainty, contrary to what theoretical accounts of underspecification would predict. Overall, our study reveals limitations in current models' processing of sentence semantics and highlights the importance of using naturalistic data and communicative scenarios when evaluating LMs' language capabilities.
• Abstract（参考訳）: 日常の言語使用において、話し手は意味的に不特定な文をしばしば発して解釈する。 例えば、「あまり使うな」という未明の文を解釈するためには、追加の言語的文脈や外部知識が必要であることを暗黙的に残す。 本研究では,タイプ(ダスト)に分類された意味的不特定文のデータセットを提案し,学習済み言語モデル(lms)が不特定文を正しく識別・解釈するかどうかを調べる。 より新しいLMは、明示的に指示されたとき、不特定文を適切に識別できる。 しかし、それらを正しく解釈することは、全てのlmsにとって非常に難しい。 実験の結果,不特定な文を解釈する場合,lmsは不確かさをほとんど示さないことが明らかとなった。 総じて本研究は,現在のモデルにおける文意味論の処理の限界を明らかにし,lmsの言語能力評価における自然データとコミュニケーションシナリオの利用の重要性を強調した。

関連論文リスト

• Investigating large language models for their competence in extracting grammatically sound sentences from transcribed noisy utterances [1.3597551064547497]
  人間は、意味的に重要な内容と音声特有のノイズを区別する優れた認知能力を示す。 本研究では,大言語モデル (LLM) が類似語理解タスクを効果的に実行できるかを検討する。
  論文  参考訳（メタデータ） (2024-10-07T14:55:20Z)
• Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention [11.073959609358088]
  本研究では,4つの大言語モデルを用いて,園芸パス文の処理と誤解釈の運命について検討する。 総合的な目標は、人間とLLMが庭道文の処理に一致しているかどうかを評価することである。 実験により,園芸道文の処理における人間とLLMの連携が期待できることが示された。
  論文  参考訳（メタデータ） (2024-05-25T03:36:13Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• The Language Model Understood the Prompt was Ambiguous: Probing Syntactic Uncertainty Through Generation [23.711953448400514]
  このような分析に対して,ニューラルネットワークモデル(LM)がどの程度不確実性を示すかを調べる。 LMは複数の解析を同時に追跡できることがわかった。 曖昧な手がかりに対する応答として、LMは正しい解釈を選択することが多いが、時々エラーは改善の潜在的な領域を示す。
  論文  参考訳（メタデータ） (2021-09-16T10:27:05Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。