論文の概要: When the LM misunderstood the human chuckled: Analyzing garden path effects in humans and language models

• arxiv url: http://arxiv.org/abs/2502.09307v1
• Date: Thu, 13 Feb 2025 13:19:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:24.838200
• Title: When the LM misunderstood the human chuckled: Analyzing garden path effects in humans and language models
• Title（参考訳）: 人間と言語モデルにおける庭の経路効果の分析
• Authors: Samuel Joseph Amouyal, Aya Meltzer-Asscher, Jonathan Berant,
• Abstract要約: 現代の大規模言語モデル(LLM)は多くの言語タスクにおいて人間のような能力を示している。 園路構成を用いた文理解課題において,これら2つを比較した。 以上の結果から, LLMとヒトは, シナティクスの複雑さに苦しむことが明らかとなった。
• 参考スコア（独自算出の注目度）: 41.929897900569905
• License:
• Abstract: Modern Large Language Models (LLMs) have shown human-like abilities in many language tasks, sparking interest in comparing LLMs' and humans' language processing. In this paper, we conduct a detailed comparison of the two on a sentence comprehension task using garden-path constructions, which are notoriously challenging for humans. Based on psycholinguistic research, we formulate hypotheses on why garden-path sentences are hard, and test these hypotheses on human participants and a large suite of LLMs using comprehension questions. Our findings reveal that both LLMs and humans struggle with specific syntactic complexities, with some models showing high correlation with human comprehension. To complement our findings, we test LLM comprehension of garden-path constructions with paraphrasing and text-to-image generation tasks, and find that the results mirror the sentence comprehension question results, further validating our findings on LLM understanding of these constructions.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)は多くの言語タスクにおいて人間に似た能力を示しており、LLMと人間の言語処理を比較することへの関心を喚起している。 本稿では,園芸パス構築を用いた文理解タスクにおいて,この2つを詳細に比較する。 精神言語学的な研究に基づき、なぜガーデンパス文が難しいのかという仮説を定式化し、これらの仮説を人間の参加者とLLMの大規模なスイートに対して理解的質問を用いて検証する。 以上の結果から, LLMとヒトは, 特定の構文的複雑さに苦しむことが明らかとなり, 人間の理解と高い相関性を示すモデルもある。 本研究は,園芸パス構築のLLM理解をパラフレージングとテキスト・ツー・イメージ生成タスクで検証し,文理解質問の結果を反映し,これらの構成のLLM理解に関する知見を検証した。

関連論文リスト

• Non-literal Understanding of Number Words by Language Models [33.24263583093367]
  人間は自然に、文脈、世界知識、話者意図を組み合わせた、意味のない数字を解釈する。 大規模言語モデル (LLM) も同様に数字を解釈し, ハイパボラ効果と実効ハロ効果に着目した。
  論文  参考訳（メタデータ） (2025-02-10T07:03:00Z)
• HLB: Benchmarking LLMs' Humanlikeness in Language Use [2.438748974410787]
  20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。 実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。 以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-24T09:02:28Z)
• Negation Blindness in Large Language Models: Unveiling the NO Syndrome in Image Generation [63.064204206220936]
  基礎的な大規模言語モデル(LLM)は、私たちが技術を理解する方法を変えました。 詩の執筆からコーディング、エッセイ生成、パズルの解決まで、様々な課題に長けていることが示されている。 画像生成機能の導入により、より包括的で汎用的なAIツールとなった。 現在特定されている欠陥には、幻覚、偏見、有害なコンテンツを生成するために制限されたコマンドをバイパスすることが含まれる。
  論文  参考訳（メタデータ） (2024-08-27T14:40:16Z)
• Large Language Models Lack Understanding of Character Composition of Words [3.9901365062418317]
  大規模言語モデル(LLM)は、幅広い自然言語処理において顕著な性能を示した。 これらの課題の多くは、人間が完璧に扱える簡単なタスクでさえ、確実に実行できないことが示されています。
  論文  参考訳（メタデータ） (2024-05-18T18:08:58Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Testing AI on language comprehension tasks reveals insensitivity to underlying meaning [3.335047764053173]
  LLM(Large Language Models)は、臨床支援や法的支援から、質問応答や教育まで幅広い分野で採用されている。 しかし、リバースエンジニアリングはモラベックのパラドックスによって拘束されており、簡単なスキルは難しい。 新たなベンチマークで7つの最先端モデルを体系的に評価する。
  論文  参考訳（メタデータ） (2023-02-23T20:18:52Z)
• Context Limitations Make Neural Language Models More Human-Like [32.488137777336036]
  インクリメンタルな文処理において,現代のニューラル言語モデル(LM)と人間とのコンテキストアクセスの相違を示す。 LMが人間の読書行動をより良くシミュレートするためには、追加のコンテキスト制限が必要だった。 また, メモリアクセスにおけるヒトとLMのギャップは, 特定の構文構造と関連していることを示した。
  論文  参考訳（メタデータ） (2022-05-23T17:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。