論文の概要: Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention
- arxiv url: http://arxiv.org/abs/2405.16042v1
- Date: Sat, 25 May 2024 03:36:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 01:19:52.450370
- Title: Incremental Comprehension of Garden-Path Sentences by Large Language Models: Semantic Interpretation, Syntactic Re-Analysis, and Attention
- Title（参考訳）: 大規模言語モデルによるガーデンパス文のインクリメンタル理解:意味的解釈,構文的再分析,注意
- Authors: Andrew Li, Xianle Feng, Siddhant Narang, Austin Peng, Tianle Cai, Raj Sanjay Shah, Sashank Varma,
- Abstract要約: 本研究では,4つの大言語モデルを用いて,園芸パス文の処理と誤解釈の運命について検討する。
総合的な目標は、人間とLLMが庭道文の処理に一致しているかどうかを評価することである。
実験により,園芸道文の処理における人間とLLMの連携が期待できることが示された。
- 参考スコア（独自算出の注目度）: 11.073959609358088
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: When reading temporarily ambiguous garden-path sentences, misinterpretations sometimes linger past the point of disambiguation. This phenomenon has traditionally been studied in psycholinguistic experiments using online measures such as reading times and offline measures such as comprehension questions. Here, we investigate the processing of garden-path sentences and the fate of lingering misinterpretations using four large language models (LLMs): GPT-2, LLaMA-2, Flan-T5, and RoBERTa. The overall goal is to evaluate whether humans and LLMs are aligned in their processing of garden-path sentences and in the lingering misinterpretations past the point of disambiguation, especially when extra-syntactic information (e.g., a comma delimiting a clause boundary) is present to guide processing. We address this goal using 24 garden-path sentences that have optional transitive and reflexive verbs leading to temporary ambiguities. For each sentence, there are a pair of comprehension questions corresponding to the misinterpretation and the correct interpretation. In three experiments, we (1) measure the dynamic semantic interpretations of LLMs using the question-answering task; (2) track whether these models shift their implicit parse tree at the point of disambiguation (or by the end of the sentence); and (3) visualize the model components that attend to disambiguating information when processing the question probes. These experiments show promising alignment between humans and LLMs in the processing of garden-path sentences, especially when extra-syntactic information is available to guide processing.
- Abstract（参考訳）: 一時的に曖昧な庭の道の文を読むとき、誤解は曖昧さの点を通り過ぎてしまうことがある。
この現象は、伝統的に精神言語学的実験において、読解時間や解答質問などのオフライン測度などのオンライン測度を用いて研究されてきた。
本稿では,GPT-2,LLaMA-2,Flan-T5,RoBERTaの4つの大言語モデル(LLM)を用いて,園芸パス文の処理と誤解釈の運命について検討する。
総合的な目的は、園道文の処理において人間とLLMが一致しているか、曖昧な点をたどる誤解釈(特に、節境界を省略するコンマなど)をガイド処理に含めている場合)を評価することである。
この目的を,任意に推移的かつ反射的な動詞を持つ24の庭道文を用いて解決し,一時的なあいまいさに繋がる。
各文には、誤解釈と正しい解釈に対応する一対の理解的質問がある。
3つの実験において,(1)問合せタスクを用いてLLMの動的意味解釈を計測し,(2)曖昧な点(文の終わりまでに)で暗黙のパースツリーを移動させるか,(3)問合せ処理時に不明瞭な情報に対応するモデルコンポーネントを可視化する。
これらの実験は、庭道文の処理における人間とLLM間の有望な整合性を示す。
関連論文リスト
- A Multi-Task Text Classification Pipeline with Natural Language Explanations: A User-Centric Evaluation in Sentiment Analysis and Offensive Language Identification in Greek Tweets [8.846643533783205]
この研究は、テキスト分類タスクで使用できる新しいパイプラインの初期の概念を紹介している。
テキストをラベル付けする分類器と、説明を提供する説明生成器の2つのモデルから構成される。
ギリシャのツイートにおける感情分析と攻撃的な言語識別のタスクを中心に実験が行われている。
論文 参考訳（メタデータ） (2024-10-14T08:41:31Z) - Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。
まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。
次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
論文 参考訳（メタデータ） (2024-06-26T21:17:20Z) - Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。
質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。
我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
論文 参考訳（メタデータ） (2024-05-26T22:30:29Z) - Do Pre-Trained Language Models Detect and Understand Semantic Underspecification? Ask the DUST! [4.1970767174840455]
本研究では,事前訓練された言語モデル(LM)が不特定文を正しく識別し,解釈するかどうかを検討する。
実験の結果,不特定文の解釈においては,不特定文の理論的説明が予測する内容とは対照的に,不確実性はほとんど認められなかった。
論文 参考訳（メタデータ） (2024-02-19T19:49:29Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳（メタデータ） (2023-11-16T00:18:50Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - The Language Model Understood the Prompt was Ambiguous: Probing
Syntactic Uncertainty Through Generation [23.711953448400514]
このような分析に対して,ニューラルネットワークモデル(LM)がどの程度不確実性を示すかを調べる。
LMは複数の解析を同時に追跡できることがわかった。
曖昧な手がかりに対する応答として、LMは正しい解釈を選択することが多いが、時々エラーは改善の潜在的な領域を示す。
論文 参考訳（メタデータ） (2021-09-16T10:27:05Z) - Perturbing Inputs for Fragile Interpretations in Deep Natural Language
Processing [18.91129968022831]
解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。
本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
論文 参考訳（メタデータ） (2021-08-11T02:07:21Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳（メタデータ） (2020-12-21T07:18:08Z) - Is Supervised Syntactic Parsing Beneficial for Language Understanding?
An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。
近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。
本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文 参考訳（メタデータ） (2020-08-15T21:03:36Z) - SLAM-Inspired Simultaneous Contextualization and Interpreting for
Incremental Conversation Sentences [0.0]
逐次文中の多文単語の文脈と解釈を動的に推定する手法を提案する。
SCAINアルゴリズムを用いることで、文脈と単語の解釈の相互依存性を逐次最適化し、新しい解釈をオンラインで得ることができる。
論文 参考訳（メタデータ） (2020-05-29T16:40:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。