論文の概要: Who Knows What - and What Does It Support? Perspective-Bounded Evidence Calibration for Multimodal Theory of Mind
- arxiv url: http://arxiv.org/abs/2610.36824v1
- Date: Tue, 27 Oct 2026 08:23:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.245699
- Title: Who Knows What - and What Does It Support? Perspective-Bounded Evidence Calibration for Multimodal Theory of Mind
- Title(参考訳): 心のマルチモーダル理論のための視点境界のエビデンス校正
- Abstract要約: エージェント固有のエビデンスストアを構成するエビデンス対応インタフェースであるPIP-ToMを提案する。
GPT-4o の PIP-ToM は MuMA-ToM,MMToM-QA,Hi-ToM にまたがる既存の ToM メソッドより優れている。
- 参考スコア(独自算出の注目度): 9.662448557070004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Theory of Mind (ToM), the ability to infer others' beliefs, goals, and intentions, is a cornerstone of social intelligence. Multimodal ToM requires inferring an agent's mental state from evidence that is available to that agent, rather than from the complete episode observed by the solver. Existing LLM-based and Bayesian model-based approaches reconstruct global event traces, yet they do not explicitly distinguish objective events from agent-admissible evidence during hypothesis evaluation. Consequently, agent-inaccessible events or semantically misaligned actions and utterances may influence the inferred belief, goal, or social intention, leading to perspective leakage and source or route confusion. We formulate this limitation as an evidence-admissibility problem: evidence should contribute to a mental-state hypothesis only when it is accessible to the relevant agent, preserves its information source, and is diagnostic of the queried mental-state variable. To operationalize this principle, we propose PIP-ToM, an evidence-admissibility interface that constructs agent-specific evidence stores, aligns them with structured mental-state claims, and calibrates model-based hypothesis scores while preserving the underlying Bayesian inference process. PIP-ToM with GPT-4o outperforms existing ToM methods across MuMA-ToM, MMToM-QA, and Hi-ToM, achieving average accuracies of 92.56%, 95.00%, and 95.00%, respectively.
- Abstract(参考訳): 他者の信念、目標、意図を推測する能力である心の理論(ToM)は、社会知性の基盤となっている。
マルチモーダルToMは、解決者によって観察される完全なエピソードからではなく、エージェントが利用できる証拠からエージェントの精神状態を推測する必要がある。
既存のLLMモデルとベイズモデルに基づくアプローチは、グローバルな事象トレースを再構築するが、仮説評価において、客観的事象とエージェント許容証拠とを明確に区別するものではない。
その結果、エージェント・アクセシブルな出来事や意味的に不一致な行動や発話は、推測された信念、目標、社会的意図に影響し、視点の漏れやソースやルートの混乱につながる可能性がある。
我々は、この制限をエビデンス許容問題として定式化し、エビデンスは関連するエージェントにアクセス可能な場合にのみメンタルステート仮説に寄与し、情報ソースを保存し、問い合わせられたメンタルステート変数の診断を行う。
この原理を運用するために、エージェント固有のエビデンスストアを構築し、それらを構造化された精神状態クレームと整合させ、基礎となるベイズ推論プロセスを維持しながらモデルに基づく仮説スコアを校正するエビデンス-許容インターフェースであるPIP-ToMを提案する。
GPT-4o の PIP-ToM は MuMA-ToM 、MMToM-QA 、Hi-ToM で、それぞれ 92.56% 、95.00% 、95.00% を達成している。
関連論文リスト
- Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking [66.12909617366432]
MLLM(Multimodal Large Language Models)は幻覚に悩まされ、信頼性の高いデプロイメントを保証するために不確実性定量化(Uncertainty Quantification, UQ)が重要なニーズとなる。
因果関係に焦点を絞った視点で,元の予測と条件のセマンティックシフトを測定するコーサル不変マスキング(CIM)を提案する。
また,超球面埋め込み空間内でのセマンティックシフトを推定する高速な幾何的プロキシ指標であるEEDを提案する。
論文 参考訳(メタデータ) (2026-10-02T06:29:37Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳(メタデータ) (2026-07-17T08:56:43Z) - The Theory of Mind Utility: Formal Specification of a Mentalizing Mechanism [2.226663588797889]
心のユーティリティの理論(ToM-U)は、信念状態からの推論の問題を定式化する。
ToM-U はモデルの構造的特性に追従する心的失敗の予測を生成する。
アーキテクチャは、ToM-Uを目標推論やその他の下流社会認知プロセスの上流にドメインに依存しないメカニズムとして位置づけている。
論文 参考訳(メタデータ) (2026-06-10T22:11:40Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳(メタデータ) (2026-05-11T00:04:19Z) - MAVEN: Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing [18.35295672031847]
MAVENは、LLMを明示的な役割分離を通じて意図的な推論に変換するように設計されたフレームワークである。
MAVEN は GEMINI-3.1-Pro などの潜在推論モデルより一貫して優れている。
MAVENは完全にモデルに依存しず、強力で伝達可能な推論ブースターとして機能する。
論文 参考訳(メタデータ) (2026-05-08T12:11:08Z) - Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind [8.740788873949471]
大規模言語モデル(LLM)は急速に発展し、汎用タスクと専門タスクの両方に広く応用されている。
意図や指示が不正確に伝達されるとき、彼らは依然として、真のユーザニーズを理解し、応答するのに苦労しています。
論文 参考訳(メタデータ) (2026-02-14T16:01:59Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳(メタデータ) (2026-01-21T06:07:43Z) - The Silent Scholar Problem: A Probabilistic Framework for Breaking Epistemic Asymmetry in LLM Agents [0.6117371161379209]
本稿では,エージェントに双方向知識交換のための非構造的動機を与える形式的確率的枠組みを提案する。
これらの蓄積された信念状態が、人間フィードバックからの強化学習(RLHF)と監視ファインチューニング(SFT)のための高品質データフィルタの検証可能な報酬信号としてどのように機能するかを示す。
シミュレーションの結果、この不確実性駆動型戦略が異種環境におけるランダムベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2025-12-24T02:02:25Z) - Resolving Multiple-Dynamic Model Uncertainty in Hypothesis-Driven Belief-MDPs [4.956709222278243]
複数の仮説に対する推論を可能にする仮説駆動の信念 MDP を提案する。
また,(ほぼ)正しい仮説を確定し,基礎となるPOMDPで良好に機能するという目標をバランスづける新たな信念であるMDPを提案する。
論文 参考訳(メタデータ) (2024-11-21T18:36:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。