論文の概要: Diagnosing the Explicit-to-Applied Theory of Mind Gap in LLMs

• arxiv url: http://arxiv.org/abs/2610.31060v1
• Date: Thu, 22 Oct 2026 10:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.32117
• Title: Diagnosing the Explicit-to-Applied Theory of Mind Gap in LLMs
• Title（参考訳）: LLMにおけるミントギャップの明示的・応用的理論の診断
• Abstract要約: 現在の心の理論 (ToM) ベンチマークでは、2つの異なる能力を説明する集計スコアが報告されている。 構造的に多様性のある4つのベンチマークを用いて,そのギャップとその回復可能性について検討する。
• 参考スコア（独自算出の注目度）: 6.45446215802335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models are deployed in high-stakes roles such as therapy, education, and personal assistance, their social cognition must be assessed reliably. Current Theory of Mind (ToM) benchmarks report aggregate scores that conflate two distinct competencies: explicit ToM (recognizing what someone believes) and applied ToM (using that belief to predict behavior). Building on this distinction, we investigate the gap and its recoverability using four structurally diverse benchmarks. Aggregate reporting obscures uneven competence: on SimpleToM, Llama-3.1-8B scores 51.5 percent overall while recognizing mental states at 99.4 percent and predicting behavior at only 28.9 percent. To assess recovery, we compare structured prompting, matched in-context learning, and our proposed Belief-State Test-Time Training (BSTTT), which adapts lightweight parameters on answered support questions through action reconstruction. Across Qwen2.5-7B, Llama-3.1-8B, and GPT-oss-20B, recovery depends on the model, task, and intervention. On SimpleToM, reminders combined with BSTTT improve Llama's behavior prediction by 40.8 percentage points; reminders account for most of the overall improvement, with BSTTT adding 1.3 to 5.5 points beyond reminders across models. Contextual examples often outperform weight updates, while BSTTT remains stronger in specific model-benchmark settings. Temporal belief tracking remains difficult despite partial recovery. These findings show that aggregate ToM scores can overstate applied competence while hiding performance recoverable through targeted assistance. We recommend decomposed reporting of explicit and applied accuracy alongside intervention comparisons that establish which failures are recoverable and under what conditions.
• Abstract（参考訳）: 大規模言語モデルは、セラピー、教育、個人支援などの高度な役割に配備されるため、社会的認知は確実に評価されなければならない。 現在の心の理論(ToM)ベンチマークでは、明示的なToM(人が何を信じるかを認識する)とToM(その信念を使って行動を予測する)の2つの異なる能力を説明するスコアが報告されている。 この区別に基づいて、4つの構造的に多様性のあるベンチマークを用いて、そのギャップとその回復可能性について検討する。 SimpleToMでは、Llama-3.1-8Bは全体の51.5%、精神状態は99.4%、行動は28.9%である。 回復度を評価するため,提案したBSTTT(Belief-State Test-Time Training)を,行動再構成によって回答された支援質問に対する軽量なパラメータに適応させる。 Qwen2.5-7B、Llama-3.1-8B、GPT-oss-20B全体で、回復はモデル、タスク、介入に依存する。 SimpleToMでは、BSTTTと組み合わせたリマインダーは、Llamaの行動予測を40.8ポイント改善し、リマインダーは全体の改善の大部分を担っている。 BSTTTは特定のモデルベンチマーク設定で強くなっていますが、コンテキストの例は重み付け更新よりも優れています。 部分的回復にもかかわらず、一時的信念追跡は困難である。 これらの結果から,集計したToMスコアは,目標支援によって回復可能な性能を隠蔽しながら,適用能力を誇張できることがわかった。 我々は,どの障害が回復可能か,どの条件下でどの障害が回復可能かを示す介入比較とともに,明示的かつ適用的な精度の報告を分解することを推奨する。

関連論文リスト

• TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors [63.6722033955159]
  木誘導診断評価は, 微粒な機能診断を行うための行動駆動決定木誘導としての診断評価を再放送する。 TIDEを4つのベンチマークで5つのモデルに適用し、その効果を実証する。 TIDEを過去と将来のベンチマークに拡張して、評価結果におけるリッチな行動信号がモデル機能の理解に完全に活用されることを願っている。
  論文  参考訳（メタデータ） (2026-10-21T16:27:48Z)
• REALHOP: Rethinking Multi-Hop Reasoning Evaluation via Behavioral Auditing [5.539696241335989]
  概念的にコヒーレントな連鎖と正しい最終解は、それ自体がマルチホップ推論を確立するわけではないことを示す。 本稿では、エンティティをリボンドし、選択された関係を分解し、追跡可能な場所に証拠を配置する診断・構成・検証フレームワークであるREALHOPを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T08:17:42Z)
• CoT2-Meta: Budgeted Metacognitive Control for Test-Time Reasoning [17.364321308755667]
  CoT2-Metaはトレーニング不要なメタ認知推論フレームワークである。 オブジェクトレベルの連鎖生成と部分的推論軌道に対するメタレベルの制御を組み合わせる。 強いシングルパス、サンプリングベース、検索ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-30T07:59:47Z)
• PRECEPT: Planning Resilience via Experience, Context Engineering & Probing Trajectories A Unified Framework for Test-Time Adaptation with Compositional Rule Learning and Pareto-Guided Prompt Evolution [2.28438857884398]
  自然言語として知識を格納するLLMエージェントは、条件数の増加に伴って急激な検索劣化に悩まされる。 本稿では,3つの密結合コンポーネントによるテスト時間適応のための統合フレームワークであるPreCEPTを紹介する。
  論文  参考訳（メタデータ） (2026-03-10T13:16:45Z)
• Elastic Weight Consolidation for Knowledge Graph Continual Learning: An Empirical Evaluation [0.0]
  EWC(Elastic Weight Consolidation)は、正規化に基づく連続学習手法である。 EWCは破滅的な忘れ物を12.62%から6.85%に減らし、45.7%減らした。
  論文  参考訳（メタデータ） (2025-12-01T17:11:39Z)
• Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models [9.972892886403228]
  評価指標を体系的に過小評価する手法が広く用いられていることを示す。 グループ構造をよりよく活用し、かなり隠れた能力を明らかにするグループマッチングスコアを導入します。 テスト時間マッチング(TTM, Test-Time Matching)は、外部の監視なしにモデル性能をさらにブートストラップする反復的自己改善アルゴリズムである。
  論文  参考訳（メタデータ） (2025-10-09T00:00:49Z)
• From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
  デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。 デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。 デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
  論文  参考訳（メタデータ） (2025-09-27T08:59:31Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• R-PRM: Reasoning-Driven Process Reward Modeling [53.06844294668382]
  プロセス・リワード・モデル(Process Reward Models, PRM)は、各推論ステップを評価することによって、有望なソリューションとして登場した。 既存のPRMは評価スコアを直接出力し、学習効率と評価精度の両方を制限する。 推論駆動プロセスリワードモデリング(R-PRM)を提案する。 R-PRMは限られたアノテーションからシードデータを生成し、効果的にモデルの推論能力をブートストラップします。
  論文  参考訳（メタデータ） (2025-03-27T09:23:08Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。