論文の概要: Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points
- arxiv url: http://arxiv.org/abs/2607.11363v1
- Date: Mon, 13 Jul 2026 10:27:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.435127
- Title: Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points
- Title（参考訳）: Sally-Anneを超えて: てんかんのスケジューリングポイントを用いたLSMにおける心の理論の評価
- Abstract要約: In this present the Epistemic Asymmetric Schelling Task (EAST), a two-player dialogue game designed to benchmark robust ToM abilities。
コーディネーションを実現するためにモデルがToMをしっかりと適用できるかどうかを評価する。
その結果,機能的社会的推論に有意な差が認められた。
- 参考スコア（独自算出の注目度）: 0.8703469130213444
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-based evaluations of Theory of Mind (ToM) in Large Language Models (LLMs) often involve cognitive tests akin to the Sally-Anne task that can be gamed due to exposure to relevantly similar tasks in pre-training and do not obviously test models' functional ToM abilities in ways that generalize to naturalistic settings. To address these issues, we introduce the Epistemic Asymmetry Schelling Task (EAST), a two-player dialogue game designed to benchmark robust and generalizable ToM abilities. By requiring LLM-LLM dyads to independently converge on semantic Schelling points under varying states of epistemic transparency, we evaluate whether models can robustly apply ToM to achieve coordination. Our results reveal a significant capability gap in functional social reasoning, with only frontier models successfully navigating the varying epistemic demands of the tasks. Analysis of reasoning traces shows that coordination failures are primarily driven by epistemic tracking errors, such as conflating private knowledge with mutual knowledge. Despite high performance on traditional static benchmarks, our study shows that robust social reasoning and epistemic tracking remain a critical bottleneck, providing concrete targets for future LLM evaluation and development.
- Abstract（参考訳）: 大規模言語モデル(LLM)における心の理論(ToM)のテキストベースの評価は、Sally-Anneタスクに似た認知テストを伴うことが多い。
これらの問題に対処するため、我々は、頑健で一般化可能なToM能力をベンチマークするために設計された2プレーヤ対話ゲームであるEAST(Epstemic Asymmetric Schelling Task)を紹介した。
LLM-LLM dyads は, エピステミック透明性の異なる条件下で, セマンティック・スケリング・ポイントを独立に収束させることで, ToM を頑健に適用してコーディネーションを実現することができるかを評価する。
以上の結果から,機能的社会的推論に有意な差があることが判明した。
推論トレースの分析は、協調の失敗は、相互の知識と私的知識を混同するなど、疫学的な追跡エラーによって主に引き起こされることを示している。
従来の静的なベンチマークでは高い性能を示したが、ロバストな社会的推論とてんかん追跡は依然として重要なボトルネックであり、将来のLCM評価と開発のための具体的な目標となっている。
関連論文リスト
- Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models [46.26628756478016]
大規模言語モデル(LLM)は、事前学習データにおける共用推論パターンを通じて推論能力を取得することが知られている。
コンフリクト中に信頼性スコアが著しく低下するため、推論競合は内部で検出可能であることを示す。
その結果, LLM推論は具体例に固定されているものの, アクティブな機械的介入は論理的スキーマをデータから効果的に切り離すことができることがわかった。
論文 参考訳（メタデータ） (2026-04-29T22:55:40Z) - Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind [8.740788873949471]
大規模言語モデル(LLM)は急速に発展し、汎用タスクと専門タスクの両方に広く応用されている。
意図や指示が不正確に伝達されるとき、彼らは依然として、真のユーザニーズを理解し、応答するのに苦労しています。
論文 参考訳（メタデータ） (2026-02-14T16:01:59Z) - Reasoning Promotes Robustness in Theory of Mind Tasks [0.26945563448932225]
大規模言語モデル(LLM)は、最近、Theory of Mind(ToM)テストで強いパフォーマンスを示している。
本稿では,機械心理学実験の新たな適応法と確立されたベンチマークの結果を用いて,ToMタスクにおけるそのような推論モデルの挙動について検討する。
論文 参考訳（メタデータ） (2026-01-23T16:01:24Z) - LLM-MC-Affect: LLM-Based Monte Carlo Modeling of Affective Trajectories and Latent Ambiguity for Interpersonal Dynamic Insight [1.1119672724275114]
感情調整は、人間の相互作用の中核的な性質であり、リアルタイムで意味が構築されるかを形成する。
本稿では,静的なラベルではなく,連続的な潜在確率分布として感情を特徴付ける確率的フレームワークを提案する。
この研究は、対人ダイナミクスを理解するためのスケーラブルでデプロイ可能な経路を確立し、一般化可能なソリューションを提供する。
論文 参考訳（メタデータ） (2026-01-07T06:50:41Z) - How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。
推論を原子核スキルに分解する新しいベンチマークを導入する。
SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
論文 参考訳（メタデータ） (2025-12-30T08:16:20Z) - MM-OPERA: Benchmarking Open-ended Association Reasoning for Large Vision-Language Models [15.929002709503921]
我々は、根本的だが未解明の知性、すなわち結束を評価することを目指している。
MM-OPERAは、2つのオープンエンドタスクにまたがる11,497のインスタンスを持つ体系的なベンチマークである。
異なる思考と収束した連想的推論の精神に類似するようにLVLMに挑戦する。
論文 参考訳（メタデータ） (2025-10-30T18:49:06Z) - How Good are Foundation Models in Step-by-Step Embodied Reasoning? [79.15268080287505]
身体的エージェントは、安全で空間的に整合性があり、文脈に根ざした決定をしなければならない。
大規模マルチモーダルモデルの最近の進歩は、視覚的理解と言語生成において有望な能力を示している。
私たちのベンチマークには、10のタスクと8のエボディメントにまたがる詳細なステップバイステップ推論を備えた1.1k以上のサンプルが含まれています。
論文 参考訳（メタデータ） (2025-09-18T17:56:30Z) - CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。
我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。
我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
論文 参考訳（メタデータ） (2025-07-10T21:32:18Z) - Truly Assessing Fluid Intelligence of Large Language Models through Dynamic Reasoning Evaluation [106.17986469245302]
大きな言語モデル(LLM)は、人間のような思考を反映する印象的な推論能力を示している。
既存の推論ベンチマークでは、ドメイン固有の知識(結晶化インテリジェンス)に焦点を当てるか、解釈可能性に欠ける。
階層的認知フレームワークを基盤とした動的推論評価ベンチマークであるDRE-Benchを提案する。
論文 参考訳（メタデータ） (2025-06-03T09:01:08Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。
本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。
さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。
これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文 参考訳（メタデータ） (2024-04-08T14:15:56Z) - MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。
このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。
GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
論文 参考訳（メタデータ） (2023-12-28T15:49:43Z) - Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。
我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。
本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-08T17:49:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。