論文の概要: Towards A Holistic Landscape of Situated Theory of Mind in Large Language Models

• arxiv url: http://arxiv.org/abs/2310.19619v1
• Date: Mon, 30 Oct 2023 15:12:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 19:43:21.433846
• Title: Towards A Holistic Landscape of Situated Theory of Mind in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける心の選別理論の全体像に向けて
• Authors: Ziqiao Ma, Jacob Sansom, Run Peng, Joyce Chai
• Abstract要約: 大言語モデル(LLM)は、心の理論(ToM)の出現の可能性について、かなりの関心と議論を巻き起こしている。 最近のいくつかの調査では、これらのモデルに堅牢なToMが欠如していることが判明し、新しいベンチマークの開発に対する需要が高まっている。 マシンToMを7つのメンタルステートカテゴリに分類し、既存のベンチマークをデライン化して、探索されていないToMの側面を特定します。
• 参考スコア（独自算出の注目度）: 14.491223187047378
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have generated considerable interest and debate regarding their potential emergence of Theory of Mind (ToM). Several recent inquiries reveal a lack of robust ToM in these models and pose a pressing demand to develop new benchmarks, as current ones primarily focus on different aspects of ToM and are prone to shortcuts and data leakage. In this position paper, we seek to answer two road-blocking questions: (1) How can we taxonomize a holistic landscape of machine ToM? (2) What is a more effective evaluation protocol for machine ToM? Following psychological studies, we taxonomize machine ToM into 7 mental state categories and delineate existing benchmarks to identify under-explored aspects of ToM. We argue for a holistic and situated evaluation of ToM to break ToM into individual components and treat LLMs as an agent who is physically situated in environments and socially situated in interactions with humans. Such situated evaluation provides a more comprehensive assessment of mental states and potentially mitigates the risk of shortcuts and data leakage. We further present a pilot study in a grid world setup as a proof of concept. We hope this position paper can facilitate future research to integrate ToM with LLMs and offer an intuitive means for researchers to better position their work in the landscape of ToM. Project page: https://github.com/Mars-tin/awesome-theory-of-mind
• Abstract（参考訳）: 大規模言語モデル(llm)は、心の理論(tom)の潜在的出現に関して、かなりの関心と議論を生み出した。 最近のいくつかの調査では、これらのモデルに堅牢なToMが欠如していることが判明し、新しいベンチマークの開発に対する需要が高まっている。 本稿では,(1)ToMの全体像を分類するにはどうすればよいのか,という2つの道路封鎖問題に答える。 2) マシンToMのより効果的な評価プロトコルとは何か? 心理学的な研究の後、機械のToMを7つの精神状態カテゴリーに分類し、既存のベンチマークでToMの未調査側面を特定する。 ToMの総合的かつ位置的評価により、ToMを個々の構成要素に分解し、LLMを物理的に環境に配置し、人間との相互作用において社会的に位置するエージェントとして扱う。 このような位置評価は、精神状態をより包括的に評価し、近道やデータ漏洩のリスクを軽減する可能性がある。 さらに,概念実証としてグリッド・ワールド・セットアップにおけるパイロット・スタディを提案する。 このポジションペーパーは将来,ToM と LLM を統合し,研究者がToM のランドスケープで作業を行うための直感的な手段となることを期待する。 プロジェクトページ:https://github.com/Mars-tin/awesome-theory-of-mind

関連論文リスト

• NegotiationToM: A Benchmark for Stress-testing Machine Theory of Mind on Negotiation Surrounding [55.38254464415964]
  現在、マインド評価の理論は、機械生成データやゲーム設定を用いたテストモデルに焦点を合わせており、ショートカットや素早い相関が生じる傾向にある。 我々は,多次元精神状態を取り巻く実世界の交渉において,ストレステストマシンToMのための新しいベンチマークであるNegotiationToMを紹介する。
  論文  参考訳（メタデータ） (2024-04-21T11:51:13Z)
• MMToM-QA: Multimodal Theory of Mind Question Answering [80.87550820953236]
  心の理論 (ToM) は人間レベルの社会知能を持つ機械を開発する上で不可欠な要素である。 最近の機械学習モデル、特に大きな言語モデルは、ToM理解のいくつかの側面を示しているようだ。 一方、ヒューマンToMはビデオやテキストの理解以上のものです。 人は、利用可能なデータから抽出された概念的表現に基づいて、他人の心について柔軟に推論することができる。
  論文  参考訳（メタデータ） (2024-01-16T18:59:24Z)
• Think Twice: Perspective-Taking Improves Large Language Models' Theory-of-Mind Capabilities [63.90227161974381]
  SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。 我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-16T22:49:27Z)
• FANToM: A Benchmark for Stress-testing Machine Theory of Mind in Interactions [94.61530480991627]
  現在、マインド評価の理論は、本質的に相互作用性に欠ける受動的物語を用いたテストモデルに焦点を当てている。 本稿では,情報非対称な会話文脈におけるToMのストレステストを目的とした新しいベンチマークであるFANToMを紹介する。
  論文  参考訳（メタデータ） (2023-10-24T00:24:11Z)
• ToMChallenges: A Principle-Guided Dataset and Diverse Evaluation Tasks for Exploring Theory of Mind [3.9599054392856483]
  ToMChallengesは,Sally-Anne と Smarties のテストに基づいて,多種多様なタスクを用いて,心の理論を総合的に評価するためのデータセットである。 評価結果と誤差分析により,LLMはプロンプトやタスク間で不整合な挙動を示す。
  論文  参考訳（メタデータ） (2023-05-24T11:54:07Z)
• Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language Models [82.50173296858377]
  多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。 我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
  論文  参考訳（メタデータ） (2023-05-24T06:14:31Z)
• A Review on Machine Theory of Mind [16.967933605635203]
  心の理論(りょうがく、英: Theory of Mind、ToM)とは、人間の認知の基盤である他者に対する精神状態の属性付け能力である。 本稿では,機械ToMにおける信念,欲求,意図に関する最近の進歩を概観する。
  論文  参考訳（メタデータ） (2023-03-21T04:58:47Z)
• Few-Shot Character Understanding in Movies as an Assessment to Meta-Learning of Theory-of-Mind [47.13015852330866]
  人間は、いくつかの観察によって、新しい架空のキャラクターを素早く理解することができる。 これは、人間のキャラクターの精神状態、すなわち理論・オブ・ミンド(ToM)の推論における、数少ないショットとメタラーニングの本質を反映している。 このギャップを新しいNLPデータセットであるToM-in-AMCで埋め、現実的な物語理解シナリオにおける機械によるToMのメタラーニングを初めて評価する。
  論文  参考訳（メタデータ） (2022-11-09T05:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。