論文の概要: Understanding Artificial Theory of Mind: Perturbed Tasks and Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2602.22072v1
- Date: Wed, 25 Feb 2026 16:24:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.903603
- Title: Understanding Artificial Theory of Mind: Perturbed Tasks and Reasoning in Large Language Models
- Title(参考訳): 心の人工理論を理解する:大規模言語モデルにおける摂動課題と推論
- Authors: Christian Nickel, Laura Schrewe, Florian Mai, Lucie Flek,
- Abstract要約: 本研究では,大規模言語モデル (LLM) が真の心の理論 (ToM) 能力を示すかどうかを考察する。
ToMデータセットには,古典的かつ摂動的な疑似信念タスクを含む,手作りでリッチな注釈付きデータセットが導入されている。
タスク摂動下でのToM能力の急激な低下を示すとともに,ToMの頑健な形態が存在するかどうかを疑問視する。
- 参考スコア(独自算出の注目度): 10.629439705877054
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Theory of Mind (ToM) refers to an agent's ability to model the internal states of others. Contributing to the debate whether large language models (LLMs) exhibit genuine ToM capabilities, our study investigates their ToM robustness using perturbations on false-belief tasks and examines the potential of Chain-of-Thought prompting (CoT) to enhance performance and explain the LLM's decision. We introduce a handcrafted, richly annotated ToM dataset, including classic and perturbed false belief tasks, the corresponding spaces of valid reasoning chains for correct task completion, subsequent reasoning faithfulness, task solutions, and propose metrics to evaluate reasoning chain correctness and to what extent final answers are faithful to reasoning traces of the generated CoT. We show a steep drop in ToM capabilities under task perturbation for all evaluated LLMs, questioning the notion of any robust form of ToM being present. While CoT prompting improves the ToM performance overall in a faithful manner, it surprisingly degrades accuracy for some perturbation classes, indicating that selective application is necessary.
- Abstract(参考訳): 心の理論 (Theory of Mind, ToM) とは、他者の内的状態をモデル化するエージェントの能力のこと。
本研究は,大規模言語モデル(LLM)が真のToM能力を示すかどうかの議論に寄与し,それらのToM頑健性を疑似信頼性タスクの摂動を用いて検討し,性能の向上とLCMの決定を説明するためにChain-of-Thought prompting(CoT)の可能性を検討する。
提案するToMデータセットには,古典的および摂動的虚偽の信念タスク,正しいタスク完了のための有効な推論チェーンの対応する空間,その後の推論の忠実さ,課題解決,および推論チェーンの正しさを評価するためのメトリクスの提案,生成したCoTの痕跡の推論に最終回答がどの程度忠実であるか,などが紹介されている。
タスク摂動下でのToM能力の急激な低下を示すとともに,ToMの頑健な形態が存在するかどうかを疑問視する。
CoTプロンプトはToMの全体的な性能を忠実に改善するが、いくつかの摂動クラスでは驚くほど精度を低下させ、選択的なアプリケーションが必要であることを示している。
関連論文リスト
- From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。
DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。
実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
論文 参考訳(メタデータ) (2025-10-13T14:29:15Z) - Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。
CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
論文 参考訳(メタデータ) (2025-09-06T05:33:17Z) - ToM-LM: Delegating Theory of Mind Reasoning to External Symbolic Executors in Large Language Models [5.455744338342196]
心の理論(りょうせい、英: Theory of Mind、ToM)とは、個人が心の状態を他人に当てはめる能力のこと。
大きな言語モデル(LLM)は、ToMの能力といくつかの約束を示しているが、それでも複雑なToM推論に苦戦している。
論文 参考訳(メタデータ) (2024-04-23T20:59:03Z) - FANToM: A Benchmark for Stress-testing Machine Theory of Mind in
Interactions [94.61530480991627]
現在、マインド評価の理論は、本質的に相互作用性に欠ける受動的物語を用いたテストモデルに焦点を当てている。
本稿では,情報非対称な会話文脈におけるToMのストレステストを目的とした新しいベンチマークであるFANToMを紹介する。
論文 参考訳(メタデータ) (2023-10-24T00:24:11Z) - ToMChallenges: A Principle-Guided Dataset and Diverse Evaluation Tasks for Exploring Theory of Mind [3.9599054392856483]
ToMChallengesは,Sally-Anne と Smarties のテストに基づいて,多種多様なタスクを用いて,心の理論を総合的に評価するためのデータセットである。
評価結果と誤差分析により,LLMはプロンプトやタスク間で不整合な挙動を示す。
論文 参考訳(メタデータ) (2023-05-24T11:54:07Z) - Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
論文 参考訳(メタデータ) (2022-12-20T05:20:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。