論文の概要: Theory of Mind and Persuasion Beyond Conversation: Assessing the Capacity of LLMs to Induce Belief States via Planning and Action
- arxiv url: http://arxiv.org/abs/2606.31916v1
- Date: Tue, 30 Jun 2026 16:22:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.313095
- Title: Theory of Mind and Persuasion Beyond Conversation: Assessing the Capacity of LLMs to Induce Belief States via Planning and Action
- Title(参考訳): 会話を超越した心と説得の理論--計画と行動を通してLLMの能力を評価する
- Abstract要約: 我々は,会話の説得ではなく行動をとることによって,他のエージェントの特定の信念を誘発するエージェントの能力を評価する。
GPT-5はエージェント設定で約80%のタスクで成功した。
人間のような全てのモデルは、偽の信念状態よりも真の信念状態を引き起こすタスクにおいて、より優れたパフォーマンスを発揮した。
- 参考スコア(独自算出の注目度): 3.236973203905278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Theory of Mind (ToM) benchmarks for Large Language Models (LLMs) typically rely on passive question-answering formats, but the deployment of LLMs in increasingly agentic and autonomous forms demands new evaluations. In this paper we evaluate an agent's ability to induce specific belief states in other agents by taking actions rather than using conversational persuasion, a capability we call Non-Conversational Planning ToM (NCP-ToM). NCP-ToM is likely to be essential for many agent use-cases, including within user-assistant interactions and pedagogical contexts, but may also present manipulation or misinformation risks. Using a novel framework, NCP-ExploreToM, we subvert the conventional task structure by providing models with a set of belief state goals and requiring them to move objects or direct characters into rooms to achieve their goals. We evaluated six frontier models, including GPT-5, Gemini 2.5 Pro and the Claude 4 series, and a cohort of human participants, across 600 task instances. GPT-5 was successful on approximately 80% of tasks in the agentic setting, and was the only model to outperform human participants on our task, but was still less robust than humans across contexts. We additionally found that all models, like humans, performed better on tasks inducing true belief states than false belief states, which is a positive signal for alignment efforts. These findings highlight emerging social-reasoning capabilities in LLMs for non-conversational task completion and underscore the necessity of agentic evaluations for understanding the safety and alignment of autonomous social agents.
- Abstract(参考訳): 大規模言語モデル(LLM)のための心の理論(ToM)ベンチマークは一般的に受動的質問応答形式に依存するが、エージェントや自律的な形式へのLSMの展開は新たな評価を必要とする。
本稿では,非会話計画ToM(Non-Conversational Planning ToM, 非会話計画ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM, NCP-ToM)と呼ぶ。
NCP-ToMは、ユーザ・アシスタント・インタラクションや教育的コンテキストを含む多くのエージェント・ユースケースにおいて必須であるが、操作や誤情報リスクも生じる可能性がある。
NCP-ExploreToMという新しいフレームワークを用いて、信頼状態の目標をモデルとして提供し、目標を達成するためにオブジェクトや直接文字を部屋に移すよう要求することで、従来のタスク構造を覆す。
GPT-5, Gemini 2.5 Pro, Claude 4 シリーズを含む6つのフロンティアモデルと,600件のタスクインスタンスを対象としたヒト参加者のコホートを評価した。
GPT-5はエージェント環境でのタスクの約80%で成功し、我々のタスクにおいて人間の参加者より優れる唯一のモデルとなった。
さらに、人間のように全てのモデルが、偽の信念状態よりも真の信念状態を引き起こすタスクにおいて、より優れたパフォーマンスを発揮したことが、アライメント努力の正のシグナルであることがわかった。
これらの知見は,LLMにおける非会話的タスク完了のための社会的推論能力の出現と,自律型ソーシャルエージェントの安全性とアライメントを理解するためのエージェント評価の必要性を浮き彫りにした。
関連論文リスト
- LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior [51.25229110468212]
分散化された環境で活動する身体的エージェントは、しばしばパートナーと不整合または環境状態に不整合な行動を示す。
我々は,実施エージェントがパートナーとタスクの目的の両方を自律的に整合させることができる新しい枠組みであるLearning Laws of Cooperationを提案する。
我々のフレームワークは、エージェントが過去の失敗を反映して、不整合な行動パターンを抽出し、"必要であれば話す"や"パートナーを待つ"といったハイレベルな行動法則を導出することを可能にする。
論文 参考訳(メタデータ) (2026-06-26T15:26:12Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳(メタデータ) (2026-05-11T00:04:19Z) - Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind [8.740788873949471]
大規模言語モデル(LLM)は急速に発展し、汎用タスクと専門タスクの両方に広く応用されている。
意図や指示が不正確に伝達されるとき、彼らは依然として、真のユーザニーズを理解し、応答するのに苦労しています。
論文 参考訳(メタデータ) (2026-02-14T16:01:59Z) - Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。
故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。
本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
論文 参考訳(メタデータ) (2025-10-16T05:29:36Z) - Teaching Language Models To Gather Information Proactively [53.85419549904644]
大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。
本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。
キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。
このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
論文 参考訳(メタデータ) (2025-07-28T23:50:09Z) - Large Language Models as Theory of Mind Aware Generative Agents with Counterfactual Reflection [31.38516078163367]
ToM-agentは、オープンドメインの会話相互作用において、LLMベースの生成エージェントがToMをシミュレートできるように設計されている。
ToM-Adntは、精神状態に対するエージェントの認識のエミュレーションを促進するため、精神状態からの信頼を解き放つ。
以上の結果から,ToM-agentは,意味的情緒的支援や意思決定に限らず,相手の行動の根底にある要因を把握できることが示唆された。
論文 参考訳(メタデータ) (2025-01-26T00:32:38Z) - WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
大型言語モデル(LLM)は人間のような知性を模倣することができる。
WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
論文 参考訳(メタデータ) (2024-07-07T07:15:49Z) - Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in
Large Language Models [82.50173296858377]
多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。
我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
論文 参考訳(メタデータ) (2023-05-24T06:14:31Z) - Investigating Agency of LLMs in Human-AI Collaboration Tasks [24.562034082480608]
我々は社会認知理論に基づいて、エージェントが対話で表現される特徴の枠組みを構築する。
我々は、83人の人間と人間の協力的なインテリアデザインの会話のデータセットを収集する。
論文 参考訳(メタデータ) (2023-05-22T08:17:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。