論文の概要: Do Large Language Models Possess a Theory of Mind? A Comparative Evaluation Using the Strange Stories Paradigm

• arxiv url: http://arxiv.org/abs/2603.18007v1
• Date: Fri, 20 Feb 2026 11:34:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.379067
• Title: Do Large Language Models Possess a Theory of Mind? A Comparative Evaluation Using the Strange Stories Paradigm
• Title（参考訳）: 大規模言語モデルでは心の理論が当てはまるか? : 奇異な物語パラダイムを用いた比較評価
• Authors: Anna Babarczy, Andras Lukacs, Peter Vedres, Zeteny Bujka,
• Abstract要約: この研究は、現在のLarge Language Models(LLM)が精神理論(ToM)の能力を示すかどうかを考察する。 筆者らは5つのLDMを試験し、人間のToM研究で広く使われているテキストベースのツールの適応版を用いて、その性能を人間のコントロールと比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The study explores whether current Large Language Models (LLMs) exhibit Theory of Mind (ToM) capabilities -- specifically, the ability to infer others' beliefs, intentions, and emotions from text. Given that LLMs are trained on language data without social embodiment or access to other manifestations of mental representations, their apparent social-cognitive reasoning raises key questions about the nature of their understanding. Are they capable of robust mental-state attribution indistinguishable from human ability in its output, or do their outputs merely reflect superficial pattern completion? To address this question, we tested five LLMs and compared their performance to that of human controls using an adapted version of a text-based tool widely used in human ToM research. The test involves answering questions about the beliefs, intentions, and emotions of story characters. The results revealed a performance gap between the models. Earlier and smaller models were strongly affected by the number of relevant inferential cues available and, to some extent, were also vulnerable to the presence of irrelevant or distracting information in the texts. In contrast, GPT-4o demonstrated high accuracy and strong robustness, performing comparably to humans even in the most challenging conditions. This work contributes to ongoing debates about the cognitive status of LLMs and the boundary between genuine understanding and statistical approximation.
• Abstract（参考訳）: この研究は、現在のLarge Language Models(LLM)が心の理論(ToM)能力を示すかどうか、具体的には、他人の信念、意図、感情をテキストから推測する能力について調査している。 LLMは、社会的具体化や心的表現の他の表現へのアクセスなしに言語データに基づいて訓練されているため、その明らかな社会的認知的推論は、その理解の性質について重要な疑問を提起する。 彼らは、そのアウトプットにおいて人間の能力と区別できない堅牢な精神状態帰属能力があるのか、あるいは、そのアウトプットは単に表面的なパターンの完成を反映しているのか? この問題に対処するために、我々は5つのLSMを試験し、人間のToM研究で広く使われているテキストベースのツールの適応版を用いて、その性能を人間のコントロールと比較した。 テストでは、ストーリーキャラクタの信念、意図、感情に関する質問に答える。 その結果,モデル間の性能差が明らかになった。 初期のより小さなモデルは、利用可能な推論的手がかりの数に強く影響され、ある程度は、テキスト内の無関係な情報や注意をそらす情報の存在に弱かった。 対照的に、GPT-4oは高い精度と強靭性を示し、最も困難な条件でも人間と相容れない性能を示した。 この研究は、LLMの認知的状態と、真の理解と統計的近似の境界に関する継続的な議論に寄与する。

関連論文リスト

• Artificial Phantasia: Evidence for Propositional Reasoning-Based Mental Imagery in Large Language Models [0.0]
  この研究は、人工システムにおける複雑な認知行動のベンチマークのための新しいアプローチを提供する。 私たちは認知心理学から古典的な精神イメージタスクの新しいアイテムを何十個も作成しました。 その結果,最高のLDMは平均的な人的パフォーマンスよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-09-27T04:36:12Z)
• The Essence of Contextual Understanding in Theory of Mind: A Study on Question Answering with Story Characters [67.61587661660852]
  理論・オブ・ミンド(ToM)は、人間が他者の精神状態を理解し解釈することを可能にする。 本稿では,ToMにおける個人的背景に関する包括的文脈理解の重要性を検証する。 本稿では,古典小説の登場人物をベースとした1,035ToM質問からなるCharToMベンチマークを紹介する。
  論文  参考訳（メタデータ） (2025-01-03T09:04:45Z)
• Judgment of Learning: A Human Ability Beyond Generative Artificial Intelligence [0.0]
  大規模言語モデル(LLM)は、様々な言語に基づくタスクにおいて、人間の認知を模倣する傾向にある。 我々は、ChatGPTに基づくLLMが人間の学習判断(JOL)と一致しているかどうかを評価するために、クロスエージェント予測モデルを導入する。 実験の結果,人間のJOLは実際のメモリ性能を確実に予測するが,いずれのLLMも同等の予測精度は示さなかった。
  論文  参考訳（メタデータ） (2024-10-17T09:42:30Z)
• POSQA: Probe the World Models of LLMs with Size Comparisons [38.30479784257936]
  身体的言語理解は、言語理解が単に脳の精神的処理の問題ではないことを強調している。 LLM(Large Language Models)の爆発的成長と、私たちの日常生活にすでに広く存在していることから、現実の理解を検証する必要性が高まっている。
  論文  参考訳（メタデータ） (2023-10-20T10:05:01Z)
• Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
  心理学からの感情評価理論を用いて,Large Language Models (LLMs) の人為的能力を評価する。 我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。 我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
  論文  参考訳（メタデータ） (2023-08-07T15:18:30Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language Models [82.50173296858377]
  多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。 我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
  論文  参考訳（メタデータ） (2023-05-24T06:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。