論文の概要: When the LM misunderstood the human chuckled: Analyzing garden path effects in humans and language models

• arxiv url: http://arxiv.org/abs/2502.09307v1
• Date: Thu, 13 Feb 2025 13:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 20:05:35.285401
• Title: When the LM misunderstood the human chuckled: Analyzing garden path effects in humans and language models
• Title（参考訳）: 人間と言語モデルにおける庭の経路効果の分析
• Authors: Samuel Joseph Amouyal, Aya Meltzer-Asscher, Jonathan Berant,
• Abstract要約: 現代の大規模言語モデル(LLM)は多くの言語タスクにおいて人間のような能力を示している。 園路構成を用いた文理解課題において,これら2つを比較した。 以上の結果から, LLMとヒトは, シナティクスの複雑さに苦しむことが明らかとなった。
• 参考スコア（独自算出の注目度）: 41.929897900569905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Large Language Models (LLMs) have shown human-like abilities in many language tasks, sparking interest in comparing LLMs' and humans' language processing. In this paper, we conduct a detailed comparison of the two on a sentence comprehension task using garden-path constructions, which are notoriously challenging for humans. Based on psycholinguistic research, we formulate hypotheses on why garden-path sentences are hard, and test these hypotheses on human participants and a large suite of LLMs using comprehension questions. Our findings reveal that both LLMs and humans struggle with specific syntactic complexities, with some models showing high correlation with human comprehension. To complement our findings, we test LLM comprehension of garden-path constructions with paraphrasing and text-to-image generation tasks, and find that the results mirror the sentence comprehension question results, further validating our findings on LLM understanding of these constructions.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は多くの言語タスクにおいて人間に似た能力を示しており、LLMと人間の言語処理を比較することへの関心を喚起している。 本稿では,園芸パス構築を用いた文理解タスクにおいて,この2つを詳細に比較する。 精神言語学的な研究に基づき、なぜガーデンパス文が難しいのかという仮説を定式化し、これらの仮説を人間の参加者とLLMの大規模なスイートに対して理解的質問を用いて検証する。 以上の結果から, LLMとヒトは, 特定の構文的複雑さに苦しむことが明らかとなり, 人間の理解と高い相関性を示すモデルもある。 本研究は,園芸パス構築のLLM理解をパラフレージングとテキスト・ツー・イメージ生成タスクで検証し,文理解質問の結果を反映し,これらの構成のLLM理解に関する知見を検証した。

関連論文リスト

• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• How Deep is Love in LLMs' Hearts? Exploring Semantic Size in Human-like Cognition [75.11808682808065]
  本研究では,大言語モデル (LLM) が意味的サイズを理解する上で類似した傾向を示すかどうかを検討する。 以上の結果から,マルチモーダルトレーニングはLLMにとって人間的な理解を深める上で不可欠であることが示唆された。 最後に,LLMが実世界のWebショッピングシナリオにおいて,より大きなセマンティックサイズを持つ注目の見出しに影響されているかを検討する。
  論文  参考訳（メタデータ） (2025-03-01T03:35:56Z)
• Child vs. machine language learning: Can the logical structure of human language unleash LLMs? [0.0]
  人間の言語学習は、LLMを訓練するための現在のアプローチと本質的に異なる方法で進行すると主張する。 非常に強力な実装でさえ、人間が問題にしない言語に固有の論理の側面を見逃す結果をもたらすという我々の仮説を裏付けるLSMによるドイツ語の複数形による証拠を提示する。
  論文  参考訳（メタデータ） (2025-02-24T16:40:46Z)
• Non-literal Understanding of Number Words by Language Models [33.24263583093367]
  人間は自然に、文脈、世界知識、話者意図を組み合わせた、意味のない数字を解釈する。 大規模言語モデル (LLM) も同様に数字を解釈し, ハイパボラ効果と実効ハロ効果に着目した。
  論文  参考訳（メタデータ） (2025-02-10T07:03:00Z)
• HLB: Benchmarking LLMs' Humanlikeness in Language Use [2.438748974410787]
  20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。 実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。 以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-24T09:02:28Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Testing AI on language comprehension tasks reveals insensitivity to underlying meaning [3.335047764053173]
  LLM(Large Language Models)は、臨床支援や法的支援から、質問応答や教育まで幅広い分野で採用されている。 しかし、リバースエンジニアリングはモラベックのパラドックスによって拘束されており、簡単なスキルは難しい。 新たなベンチマークで7つの最先端モデルを体系的に評価する。
  論文  参考訳（メタデータ） (2023-02-23T20:18:52Z)
• Context Limitations Make Neural Language Models More Human-Like [32.488137777336036]
  インクリメンタルな文処理において,現代のニューラル言語モデル(LM)と人間とのコンテキストアクセスの相違を示す。 LMが人間の読書行動をより良くシミュレートするためには、追加のコンテキスト制限が必要だった。 また, メモリアクセスにおけるヒトとLMのギャップは, 特定の構文構造と関連していることを示した。
  論文  参考訳（メタデータ） (2022-05-23T17:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。