論文の概要: Overcoming Multi-step Complexity in Multimodal Theory-of-Mind Reasoning: A Scalable Bayesian Planner

• arxiv url: http://arxiv.org/abs/2506.01301v1
• Date: Mon, 02 Jun 2025 04:23:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.028485
• Title: Overcoming Multi-step Complexity in Multimodal Theory-of-Mind Reasoning: A Scalable Bayesian Planner
• Title（参考訳）: マルチモーダル・オブ・ミンド推論における多段階複雑性の克服:スケーラブルベイズ計画
• Authors: Chunhui Zhang, Zhongyu Ouyang, Kwonjoon Lee, Nakul Agarwal, Sean Dae Houlihan, Soroush Vosoughi, Shao-Yuan Lo,
• Abstract要約: 本稿では,ToM推論を段階的にベイズ更新に分解するスケーラブルなベイズToMプランナを提案する。 提案フレームワークでは,より小さな言語モデルでToM固有の推定を専門に行うことのできる,弱いストロング制御を導入している。 提案手法は,マルチモーダルToMベンチマークにおける最先端技術よりも4.6%の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 32.33827730707331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theory-of-Mind (ToM) enables humans to infer mental states-such as beliefs, desires, and intentions-forming the foundation of social cognition. However, existing computational ToM methods rely on structured workflows with ToM-specific priors or deep model fine-tuning, which struggle with scalability in multimodal environments and fail to generalize as task complexity increases. To address these limitations, we propose a scalable Bayesian ToM planner that decomposes ToM reasoning into stepwise Bayesian updates. Our framework introduces weak-to-strong control, allowing smaller language models (LMs) to specialize in ToM-specific likelihood estimation and transfer their reasoning behaviors to larger LMs (7B to 405B) for integration with social and world knowledge. This synergistic approach aligns large-model inference of human mental states with Bayesian principles. Extensive experiments show that our method achieves a 4.6% accuracy improvement over state-of-the-art techniques on multimodal ToM benchmarks, including challenging unseen scenarios, thereby establishing a new standard for modeling human mental states in complex environments.
• Abstract（参考訳）: 理論・オブ・ミンド(ToM)は、信念、欲望、意図といった精神状態が社会的認知の基礎を形成するのを可能にする。 しかし、既存の計算ToM法は、ToM固有の事前処理や、マルチモーダル環境のスケーラビリティに苦慮し、タスクの複雑さが増大するにつれて一般化に失敗するディープモデル微調整による構造化ワークフローに依存している。 これらの制約に対処するために,ToM推論を段階的にベイズ的更新に分解するスケーラブルなベイズ的ToMプランナを提案する。 本フレームワークでは,より小さな言語モデル(LM)がToM固有の推定を専門とし,その推論動作をより大きなLM(7Bから405B)に転送することで,社会や世界の知識と統合する。 この相乗的アプローチは、人間の精神状態の大モデル推論とベイズ主義の原理を一致させる。 大規模実験により,複雑な環境下での人間の精神状態をモデル化するための新しい標準が確立されるなど,マルチモーダルToMベンチマークの最先端技術よりも4.6%の精度向上が達成された。

関連論文リスト

• Perception, Reason, Think, and Plan: A Survey on Large Multimodal Reasoning Models [79.52467430114805]
  推論は知性の中心にあり、決定し、結論を導き、ドメインをまたいで一般化する能力を形成する。 人工知能において、システムがオープンで不確実でマルチモーダルな環境でますます機能するにつれて、推論は堅牢で適応的な行動を可能にするために不可欠となる。 大規模マルチモーダル推論モデル(LMRM)は、テキスト、画像、オーディオ、ビデオなどのモダリティを統合し、複雑な推論機能をサポートする、有望なパラダイムとして登場した。
  論文  参考訳（メタデータ） (2025-05-08T03:35:23Z)
• Decompose-ToM: Enhancing Theory of Mind Reasoning in Large Language Models through Simulation and Task Decomposition [2.089191490381739]
  心の理論 (Theory of Mind, ToM) は、他者の精神状態を理解し、反映する能力である。 大規模言語モデル(LLM)は、ToMの初歩的な理解しか持たない。 本稿では,複雑なToMタスクにおけるモデル性能を改善するLLMベースの推論アルゴリズムであるDecompose-ToM'を提案する。
  論文  参考訳（メタデータ） (2025-01-15T18:44:01Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [68.20973671493203]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• A Notion of Complexity for Theory of Mind via Discrete World Models [2.487142846438629]
  ToM(Theory of Mind)は、社会的推論が必要な複雑なシナリオにおいて、LLM(Large Language Models)の機能を評価するために用いられる。 本研究では,ToMタスクの複雑さを測定するための認知負荷理論に着想を得たフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:46:55Z)
• What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models [50.97705264224828]
  大規模マルチモーダルモデルに反現実的思考を組み込む新しい手法である反現実的インセプションを提案する。 我々は、より広い文脈のシーン理解にまたがる応答をモデルが関与し、生成することを目指している。 オープンソースモデルとプロプライエタリモデルの両方を含む様々なLMMの包括的分析は、反事実的思考が幻覚を著しく減少させることを裏付ける。
  論文  参考訳（メタデータ） (2024-03-20T11:27:20Z)
• MMToM-QA: Multimodal Theory of Mind Question Answering [80.87550820953236]
  心の理論 (ToM) は人間レベルの社会知能を持つ機械を開発する上で不可欠な要素である。 最近の機械学習モデル、特に大きな言語モデルは、ToM理解のいくつかの側面を示しているようだ。 一方、ヒューマンToMはビデオやテキストの理解以上のものです。 人は、利用可能なデータから抽出された概念的表現に基づいて、他人の心について柔軟に推論することができる。
  論文  参考訳（メタデータ） (2024-01-16T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。