論文の概要: From Belief Inference to Task Action: A Multi-Level Evaluation of Theory of Mind on Verifiable Tasks

• arxiv url: http://arxiv.org/abs/2610.34759v1
• Date: Mon, 26 Oct 2026 03:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.711293
• Title: From Belief Inference to Task Action: A Multi-Level Evaluation of Theory of Mind on Verifiable Tasks
• Title（参考訳）: 信念推論からタスクアクションへ:検証可能なタスクにおける心の理論のマルチレベル評価
• Abstract要約: 既存の検証可能なタスクの上に構築されたマルチレベル評価を導入する。 非対称な情報で家事コラボレーションとカレンダースケジューリングを拡張します。 供給信念はQwen-27Bの成功率を55.0%から75.0%に引き上げるが、Qwen-4Bは対応する継続条件のたった20.0%を達成しつつ、固定された供給源問題に正しく答える。
• 参考スコア（独自算出の注目度）: 18.40352901970091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective collaboration requires language models to understand what others know and believe, and to act accordingly. Models that assume others share their information may omit necessary communication and undermine coordination. Many theory-of-mind (ToM) benchmarks assess mental-state inference through story questions, but correct answers do not establish that models can use these judgments in subsequent tasks. We introduce a multi-level evaluation built on existing, verifiable tasks. We extend household collaboration and calendar scheduling with asymmetric information while retaining their original constraints and validators. Independent interfaces assess world understanding, information access, beliefs, decisions, and execution. Controls supply personal evidence or correct beliefs to distinguish state recovery from state use. Across six model configurations, these abilities diverge. On matched scheduling cases, Claude recovers all agent beliefs correctly but produces subjectively optimal plans in only 67.9% of cases. In household collaboration, supplying beliefs raises Qwen-27B success from 55.0% to 75.0%, yet Qwen-4B answers every fixed supplied-belief source question correctly while completing only 20.0% of the corresponding continuation condition. These results show why ToM evaluation must connect perspective inference to independently verified decisions and task consequences.
• Abstract（参考訳）: 効果的なコラボレーションには、他者が知っていることを理解し、それに従って行動するために言語モデルが必要である。 他人が情報を共有していると仮定するモデルは、必要なコミュニケーションを省略し、協調を損なう可能性がある。 多くの理論・オブ・ミンド(ToM)ベンチマークは、ストーリー質問を通じて精神状態の推論を評価するが、正しい答えは、モデルがその後のタスクでこれらの判断を利用できることを証明しない。 既存の検証可能なタスクの上に構築されたマルチレベル評価を導入する。 我々は、当初の制約やバリデータを保持しながら、非対称な情報で家庭のコラボレーションやカレンダースケジューリングを拡張します。 独立したインターフェースは、世界理解、情報アクセス、信念、決定、実行を評価する。 規制は、国家の回復と州の使用を区別するために個人的証拠または正しい信念を提供する。 6つのモデル構成にまたがって、これらの能力は多様化する。 一致したスケジューリングの場合、クロードは全てのエージェントの信念を正しく回復するが、67.9%のケースで主観的最適計画を生成する。 家庭のコラボレーションにおいて、供給信念はQwen-27Bの成功率を55.0%から75.0%に引き上げるが、Qwen-4Bは固定された供給源の全ての質問に正しく答え、対応する継続条件の20.0%しか満たさない。 これらの結果は、ToM評価が視点推定と独立に検証された決定とタスク結果とを結びつける必要がある理由を示している。

関連論文リスト

• Can LLMs Trust Appropriately? Evaluating Calibrated Reliance on Imperfect Partners [8.365986208087039]
  自律的なエージェントに対する格付けされた信頼は、実証的な証拠と前向きな意思決定ユーティリティを結合することを批判的に要求する。 23のコラボレーションカテゴリにわたる324のシナリオのベンチマークを紹介します。 我々は,36個のコントロール・ヒストリー・プローブとともに7つのモデルを評価する。
  論文  参考訳（メタデータ） (2026-10-25T07:06:31Z)
• Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues [41.90964421829607]
  我々は,信頼できない証拠収集プロセスの回復能力からタスク解決能力の分離を図るために,UncoBench(Unreliable Colleagues Benchmark)を導入する。 10モデルにわたる結果は、同様の信頼性の高い設定性能が、信頼性の低い証拠と異なるロバスト性をもたらすことを示している。
  論文  参考訳（メタデータ） (2026-10-12T03:31:54Z)
• Right Answers, Wrong States: Hidden Information Failures in Multi-Agent Collaboration [69.14904049421806]
  共同作業は、即時決定が正しい場合でも、腐敗した情報状態に置き去りにすることができる。 GPT、Gemini、Qwenモデル全体では、標準的なコラボレーションは、状態の信頼性よりもはるかに強力なタスクパフォーマンスを示している。 我々は、矛盾する証拠を解決し、共有された事実を検証し、信頼された国家を再構築するReGroundを紹介します。
  論文  参考訳（メタデータ） (2026-10-01T07:42:27Z)
• EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
  既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。 EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。 ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:19Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。