論文の概要: UniToMBench: Integrating Perspective-Taking to Improve Theory of Mind in LLMs

• arxiv url: http://arxiv.org/abs/2506.09450v1
• Date: Wed, 11 Jun 2025 06:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.65988
• Title: UniToMBench: Integrating Perspective-Taking to Improve Theory of Mind in LLMs
• Title（参考訳）: UniToMBench:LLMのマインド理論を改善するためにパースペクティブタイキングを統合する
• Authors: Prameshwar Thiyagarajan, Vaishnavi Parimi, Shamant Sai, Soumil Garg, Zhangir Meirbek, Nitin Yarlagadda, Kevin Zhu, Chris Kim,
• Abstract要約: 心の理論(ToM)は、大きな言語モデル(LLM)にとって難しい領域である。 本稿では,SimToMとTOMBENCHの強みを統合する統一ベンチマークUniToMBenchを紹介する。
• 参考スコア（独自算出の注目度）: 1.4304078520604593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theory of Mind (ToM), the ability to understand the mental states of oneself and others, remains a challenging area for large language models (LLMs), which often fail to predict human mental states accurately. In this paper, we introduce UniToMBench, a unified benchmark that integrates the strengths of SimToM and TOMBENCH to systematically improve and assess ToM capabilities in LLMs by integrating multi-interaction task designs and evolving story scenarios. Supported by a custom dataset of over 1,000 hand-written scenarios, UniToMBench combines perspective-taking techniques with diverse evaluation metrics to better stimulate social cognition in LLMs. Through evaluation, we observe that while models like GPT-4o and GPT-4o Mini show consistently high accuracy in tasks involving emotional and belief-related scenarios, with results usually above 80%, there is significant variability in their performance across knowledge-based tasks. These results highlight both the strengths and limitations of current LLMs in ToM-related tasks, underscoring the value of UniToMBench as a comprehensive tool for future development. Our code is publicly available here: https://github.com/Shamant/unifiedtombenchmark.
• Abstract（参考訳）: 心の理論(ToM)は、自分自身や他人の精神状態を理解する能力であり、人間の精神状態の正確な予測に失敗する大きな言語モデル(LLM)にとって難しい領域である。 本論文では,SimToM と TOMBENCH の強みを統合した統合ベンチマークである UniToMBench を導入し,マルチインタラクションタスク設計とストーリーシナリオの進化を統合することで,LLM におけるToM 能力の体系的改善と評価を行う。 1000以上の手書きシナリオのカスタムデータセットによってサポートされたUniToMBenchは、パースペクティブテイキングテクニックとさまざまな評価指標を組み合わせて、LCMの社会的認知をより良く刺激する。 評価の結果, GPT-4o や GPT-4o Mini などのモデルでは,情緒的, 信念的シナリオに関わるタスクにおいて, 常に高い精度が示され, 結果が80%以上であるのに対して, 知識に基づくタスク間での性能に有意なばらつきがあることがわかった。 これらの結果は,ToM 関連タスクにおける現在の LLM の長所と短所の両方を強調し,UniToMBench の価値を総合的な開発ツールとして評価している。 私たちのコードは、https://github.com/Shamant/unifiedtombenchmark.comで公開されています。

関連論文リスト

• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents [57.4686961979566]
  EmbodiedEvalは、組み込みタスクを持つMLLMの総合的かつインタラクティブな評価ベンチマークである。 多様性が大幅に向上した既存のAIタスクの幅広い範囲をカバーする。 EmbodiedEval における最先端MLLM の評価を行い,人体作業における人体レベルと比較して有意に不足していることがわかった。
  論文  参考訳（メタデータ） (2025-01-21T03:22:10Z)
• Are Your LLMs Capable of Stable Reasoning? [38.03049704515947]
  G-Pass@$k$は、複数のサンプリング試行においてモデル性能を継続的に評価する新しい評価指標である。 私たちはG-Pass@$k$と最先端の大規模言語モデルを使って、その潜在能力と運用上の一貫性に関する包括的な洞察を提供しています。
  論文  参考訳（メタデータ） (2024-12-17T18:12:47Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Probing the Robustness of Theory of Mind in Large Language Models [6.7932860553262415]
  LLMにおけるToM探索のための68タスクの新しいデータセットを提案する。 データセットとデータセットを用いた4つのSotAオープンソースLLMのToM性能の評価(Kosinski, 2023)。 エージェントが環境における自動状態変化の知識を持っているという認識を必要とするタスクにおいて、全てのLLMが不整合性を示す傾向がみられた。
  論文  参考訳（メタデータ） (2024-10-08T18:13:27Z)
• ToMBench: Benchmarking Theory of Mind in Large Language Models [41.565202027904476]
  ToMは、自分自身や他人に精神状態を知覚し、解釈する認知能力である。 既存のToM評価は、制約されたスコープ、主観的判断、意図しない汚染といった課題によって妨げられる。 ToMBenchには3つの重要な特徴がある: 社会的認知における8つのタスクと31の能力を含む体系的評価フレームワーク、自動的かつ偏りのない評価をサポートする複数選択質問フォーマット、データ漏洩を厳密に回避するためのビルト・トゥ・スクラッチバイリンガルインベントリ。
  論文  参考訳（メタデータ） (2024-02-23T02:05:46Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
  大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。 アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。 この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。