論文の概要: From Black Boxes to Transparent Minds: Evaluating and Enhancing the Theory of Mind in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2506.14224v1
• Date: Tue, 17 Jun 2025 06:27:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.357634
• Title: From Black Boxes to Transparent Minds: Evaluating and Enhancing the Theory of Mind in Multimodal Large Language Models
• Title（参考訳）: ブラックボックスから透明マインドへ:マルチモーダル大言語モデルにおけるマインド理論の評価と拡張
• Authors: Xinyang Li, Siqi Liu, Bochao Zou, Jiansheng Chen, Huimin Ma,
• Abstract要約: 本研究では,大言語モデル(MLLM)における心の理論(ToM)の解釈可能性に基づく評価を実現するための内部メカニズムに基づくアプローチを採用する。 まず,マルチモーダルなToMテストデータセットであるGridToMを構築した。 次に,マルチモーダル大モデルにおける注目の頭脳は,視点によって認知情報を識別し,ToM能力の証拠となることを示す。
• 参考スコア（独自算出の注目度）: 17.235722538085263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models evolve, there is growing anticipation that they will emulate human-like Theory of Mind (ToM) to assist with routine tasks. However, existing methods for evaluating machine ToM focus primarily on unimodal models and largely treat these models as black boxes, lacking an interpretative exploration of their internal mechanisms. In response, this study adopts an approach based on internal mechanisms to provide an interpretability-driven assessment of ToM in multimodal large language models (MLLMs). Specifically, we first construct a multimodal ToM test dataset, GridToM, which incorporates diverse belief testing tasks and perceptual information from multiple perspectives. Next, our analysis shows that attention heads in multimodal large models can distinguish cognitive information across perspectives, providing evidence of ToM capabilities. Furthermore, we present a lightweight, training-free approach that significantly enhances the model's exhibited ToM by adjusting in the direction of the attention head.
• Abstract（参考訳）: 大きな言語モデルが進化するにつれて、彼らは日常的なタスクを支援するために人間のような心の理論(ToM)をエミュレートすることを期待している。 しかし、マシンToMを評価する既存の手法は、主に単調なモデルに焦点を当て、これらのモデルをブラックボックスとして扱うが、内部メカニズムの解釈的な探索は欠如している。 そこで本研究では,マルチモーダル大言語モデル(MLLM)におけるToMの解釈可能性に基づく評価を実現するために,内部メカニズムに基づくアプローチを採用する。 具体的には,まずマルチモーダルなToMテストデータセットであるGridToMを構築し,多様な信念テストタスクと複数の視点からの知覚情報を組み込んだ。 次に,マルチモーダル大モデルにおける注目の頭脳は,視点によって認知情報を識別し,ToM能力の証拠となることを示す。 さらに,注目頭部の方向を調節することで,モデルが提示するToMを大幅に向上させる軽量でトレーニング不要なアプローチを提案する。

関連論文リスト

• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• MMToM-QA: Multimodal Theory of Mind Question Answering [80.87550820953236]
  心の理論 (ToM) は人間レベルの社会知能を持つ機械を開発する上で不可欠な要素である。 最近の機械学習モデル、特に大きな言語モデルは、ToM理解のいくつかの側面を示しているようだ。 一方、ヒューマンToMはビデオやテキストの理解以上のものです。 人は、利用可能なデータから抽出された概念的表現に基づいて、他人の心について柔軟に推論することができる。
  論文  参考訳（メタデータ） (2024-01-16T18:59:24Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• M2Lens: Visualizing and Explaining Multimodal Models for Sentiment Analysis [28.958168542624062]
  感情分析のためのマルチモーダルモデルの可視化と説明を行う対話型視覚分析システムM2Lensを提案する。 M2Lensは、グローバル、サブセット、および局所レベルでのモーダル内およびモーダル間相互作用の説明を提供する。
  論文  参考訳（メタデータ） (2021-07-17T15:54:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。