論文の概要: Does Theory of Mind Improvement Really Benefit Human-AI Interactions? Empirical Findings from Interactive Evaluations

• arxiv url: http://arxiv.org/abs/2605.15205v1
• Date: Tue, 28 Apr 2026 15:38:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 12:34:33.824355
• Title: Does Theory of Mind Improvement Really Benefit Human-AI Interactions? Empirical Findings from Interactive Evaluations
• Title（参考訳）: 心的改善の理論は人間とAIの相互作用に本当に相応しいか? : 対話的評価による実証的考察
• Abstract要約: 既存のベンチマークは、ストーリーを読むことでToMの能力を改善する。 本稿では,視点と距離シフトを両立させた対話型ToM評価のパラダイムを提案する。 この結果から,静的ベンチマークの改善は動的HAIインタラクションの性能向上に必ずしも寄与しないことがわかった。
• 参考スコア（独自算出の注目度）: 80.39504840645687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving the Theory of Mind (ToM) capability of Large Language Models (LLMs) is crucial for effective social interactions between these AI models and humans. However, the existing benchmarks often measure ToM capability improvement through story-reading, multiple-choice questions from a third-person perspective, while ignoring the first-person, dynamic, and open-ended nature of human-AI (HAI) interactions. To directly examine how ToM improvement techniques benefit HAI interactions, we first proposed the new paradigm of interactive ToM evaluation with both perspective and metric shifts. Next, following the paradigm, we conducted a systematic study of four representative ToM enhancement techniques using both four real-world datasets and a user study, covering both goal-oriented tasks (e.g., coding, math) and experience-oriented tasks (e.g., counseling). Our findings reveal that improvements on static benchmarks do not always translate to better performance in dynamic HAI interactions. This paper offers critical insights into ToM evaluation, showing the necessity of interaction-based assessments in developing next-generation, socially aware LLMs for HAI symbiosis.
• Abstract（参考訳）: 大規模言語モデル(LLM)の心の理論(ToM)能力の向上は、これらのAIモデルと人間の間の効果的な社会的相互作用に不可欠である。 しかし、既存のベンチマークは、ストーリーを読むことによるToM能力の向上を第三者の観点から評価する一方で、人間-AI(HAI)インタラクションのファーストパーソン、ダイナミック、オープンエンドの性質を無視していることが多い。 ToM改善技術がHAIインタラクションにどのように役立つかを直接検討するために、まず、視点とメートル法の両方でインタラクティブなToM評価のパラダイムを提案する。 次に、4つの実世界のデータセットとユーザスタディの両方を用いて、4つのToM強化手法を体系的に研究し、目標指向タスク(例えば、コーディング、数学)と経験指向タスク(例えば、カウンセリング)の両方をカバーした。 この結果から,静的ベンチマークの改善は動的HAIインタラクションの性能向上に必ずしも寄与しないことがわかった。 本稿では,HAI共生のための次世代LLMの開発における相互作用に基づく評価の必要性について,ToM評価に関する重要な知見を提供する。

関連論文リスト

• Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition [52.63676763985825]
  トークンレベルの精度を超えた認識品質を評価するための意味認識評価指標を提案する。 我々は,人間のようなマルチターンインタラクションをシミュレートするエージェント・フレームワークを設計し,認識出力の反復的改善を可能にする。 対話型およびエージェント型ASRにおける今後の研究を促進するためのコードをリリースする。
  論文  参考訳（メタデータ） (2026-04-10T09:02:42Z)
• LifeEval: A Multimodal Benchmark for Assistive AI in Egocentric Daily Life Tasks [71.05217306468857]
  LifeEvalは、リアルタイムでタスク指向の人間とAIのコラボレーションを評価するために設計されたマルチモーダルベンチマークである。 LifeEvalは、タスク指向の全体的評価、連続したファーストパーソンストリームからのエゴセントリックなリアルタイム認識、自然な対話による人間と人間の協力的な相互作用の3つの重要な側面を強調している。
  論文  参考訳（メタデータ） (2026-02-28T06:05:31Z)
• Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind [8.740788873949471]
  大規模言語モデル(LLM)は急速に発展し、汎用タスクと専門タスクの両方に広く応用されている。 意図や指示が不正確に伝達されるとき、彼らは依然として、真のユーザニーズを理解し、応答するのに苦労しています。
  論文  参考訳（メタデータ） (2026-02-14T16:01:59Z)
• SoMi-ToM: Evaluating Multi-Perspective Theory of Mind in Embodied Social Interactions [36.010107260144586]
  SoMi-ToMベンチマークは,マルチエージェント複合社会相互作用におけるマルチパースペクティブToMを評価するために設計されている。 我々は,35人の第三者視点映像,633人の一人称視点画像,1225人の専門家による複数選択質問を含む挑戦的なデータセットを構築した。 その結果,SoMi-ToMではLVLMがヒトよりも有意に低下することが判明した。
  論文  参考訳（メタデータ） (2025-06-29T00:54:13Z)
• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。 データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。 厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Towards interactive evaluations for interaction harms in human-AI systems [8.989911701384788]
  我々は,テキストインタラクションの害に着目したテキストインタラクション倫理に基づく評価へのシフトを提案する。 まず,(1)静的,(2)普遍的なユーザエクスペリエンスを仮定し,(3)構成妥当性を限定した現状評価手法の限界について議論する。 インタラクティブな評価を設計するための実践的原則として, 生態学的に有効な相互作用シナリオ, ヒューマンインパクトメトリクス, 多様な人間参加アプローチなどがあげられる。
  論文  参考訳（メタデータ） (2024-05-17T08:49:34Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• Harnessing the Power of Large Language Models for Empathetic Response Generation: Empirical Investigations and Improvements [28.630542719519855]
  本研究では,大規模言語モデル(LLM)の共感応答生成における性能について実験的に検討する。 大規模な実験により, LLMは提案手法の利点を大いに生かし, 自動評価と人的評価の両方で最先端の性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-10-08T12:21:24Z)
• Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
  本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。 本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。 我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
  論文  参考訳（メタデータ） (2020-07-07T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。