論文の概要: Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs

• arxiv url: http://arxiv.org/abs/2210.13312v2
• Date: Mon, 3 Apr 2023 15:26:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 00:28:09.466604
• Title: Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs
• Title（参考訳）: 神経理論とは? 大規模LMにおける社会知能の限界について
• Authors: Maarten Sap, Ronan LeBras, Daniel Fried, Yejin Choi
• Abstract要約: 私たちは、今日の最大の言語モデルのひとつに、このようなソーシャルインテリジェンスを最初から欠いていることを示しています。 我々は、人中心のNLPアプローチは、マインドの神経理論に対してより効果的であるかもしれないと結論づける。
• 参考スコア（独自算出の注目度）: 77.88043871260466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social intelligence and Theory of Mind (ToM), i.e., the ability to reason about the different mental states, intents, and reactions of all people involved, allow humans to effectively navigate and understand everyday social interactions. As NLP systems are used in increasingly complex social situations, their ability to grasp social dynamics becomes crucial. In this work, we examine the open question of social intelligence and Theory of Mind in modern NLP systems from an empirical and theory-based perspective. We show that one of today's largest language models (GPT-3; Brown et al., 2020) lacks this kind of social intelligence out-of-the box, using two tasks: SocialIQa (Sap et al., 2019), which measures models' ability to understand intents and reactions of participants of social interactions, and ToMi (Le et al., 2019), which measures whether models can infer mental states and realities of participants of situations. Our results show that models struggle substantially at these Theory of Mind tasks, with well-below-human accuracies of 55% and 60% on SocialIQa and ToMi, respectively. To conclude, we draw on theories from pragmatics to contextualize this shortcoming of large language models, by examining the limitations stemming from their data, neural architecture, and training paradigms. Challenging the prevalent narrative that only scale is needed, we posit that person-centric NLP approaches might be more effective towards neural Theory of Mind. In our updated version, we also analyze newer instruction tuned and RLFH models for neural ToM. We find that even ChatGPT and GPT-4 do not display emergent Theory of Mind; strikingly even GPT-4 performs only 60% accuracy on the ToMi questions related to mental states and realities.
• Abstract（参考訳）: 社会的インテリジェンスと心の理論(ToM)、すなわち、関係するすべての人々の異なる精神状態、意図、反応を推論する能力によって、人間は日々の社会的相互作用を効果的にナビゲートし理解することができる。 NLPシステムはますます複雑な社会状況において使用されるため、社会的ダイナミクスを理解する能力は重要である。 本研究では,現代NLPシステムにおける社会的知能と心の理論のオープンな問題について,実証的・理論的観点から検討する。 現在の最大の言語モデル(gpt-3, brown et al., 2020)の1つには,2つのタスク - socialiqa (sap et al., 2019) という,モデルが社会的インタラクションの参加者の意図や反応を理解する能力を測定するもの - と,モデルがメンタル状態や参加者の現実を推測できるかどうかを測定する tomi (le et al., 2019) がある。 以上の結果から,socialiqa と tomi はそれぞれ 55% と 60% の well-below-human accuracies である。 結論として,データやニューラルネットワーク,トレーニングパラダイムに起因する制限を調べることで,大規模言語モデルの欠点を文脈化するために,実用学からの理論を導出する。 スケールしか必要としない一般的な物語に従えば、人中心のNLPアプローチがマインドの神経理論に対してより効果的である可能性が示唆される。 更新版では、ニューラルToMのための新しい命令チューニングとRLFHモデルも分析した。 その結果,ChatGPT や GPT-4 でさえ創発的心の理論を示さず,GPT-4 でさえ精神状態や現実に関する ToMi の質問に対して 60% の精度しか達成していないことがわかった。

関連論文リスト

• Learning mental states estimation through self-observation: a developmental synergy between intentions and beliefs representations in a deep-learning model of Theory of Mind [0.35154948148425685]
  心の理論(りょうがく、英: Theory of Mind、ToM)とは、信念、意図、精神状態などを他人に関連付ける能力である。 我々は,低レベル精神状態を予測する学習と,高レベル精神状態に寄与する学習との間に発達的な相乗効果を示す。 我々は,人間の社会的認知発達の理解に,我々の計算的アプローチが役立つことを示唆する。
  論文  参考訳（メタデータ） (2024-07-25T13:15:25Z)
• OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind Reasoning Capabilities of Large Language Models [17.042114879350788]
  N-ToM(Neural Theory-of-Mind)は、他者の精神状態を理解し、追跡する能力を持つ機械である。 OpenToMは、より長く明確な物語、明示的な性格特性、キャラクタの意図によって引き起こされる行動でN-ToMを評価するための新しいベンチマークである。 身体世界における精神状態の特定の側面をモデル化する上では最先端のLSMが活躍するが、心理学世界におけるキャラクターの精神状態を追跡する際には不足することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-08T20:35:06Z)
• Think Twice: Perspective-Taking Improves Large Language Models' Theory-of-Mind Capabilities [63.90227161974381]
  SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。 我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-16T22:49:27Z)
• Mindstorms in Natural Language-Based Societies of Mind [110.05229611910478]
  ミンスキーの「心の社会」とシュミットフーバーの「思考の学習」は、大規模なマルチモーダルニューラルネットワーク(NN)の多様な社会に刺激を与えた。 最近のNNベースの心の社会の実装は、大きな言語モデル(LLM)と、自然言語インタフェースを介してコミュニケーションする他のNNベースの専門家で構成されている。 これらの自然言語に基づく心の社会(NLSOMs)では、新しいエージェント(全員が同じ普遍的なシンボル言語を介して通信する)がモジュール化された方法で簡単に追加される。
  論文  参考訳（メタデータ） (2023-05-26T16:21:25Z)
• COKE: A Cognitive Knowledge Graph for Machine Theory of Mind [87.14703659509502]
  心の理論(りょうせい、英: Theory of Mind)とは、他者の欲求、信念、意図を理解し、推測する人間の能力のこと。 COKEは、心の機械理論のための最初の認知知識グラフである。
  論文  参考訳（メタデータ） (2023-05-09T12:36:58Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Memory-Augmented Theory of Mind Network [59.9781556714202]
  社会的推論は、心の理論(ToM)の能力を必要とする。 ToMに対する最近の機械学習アプローチは、観察者が過去を読み、他のエージェントの振る舞いを提示するように訓練できることを実証している。 我々は,新たなニューラルメモリ機構を組み込んで符号化し,階層的な注意を払って他者に関する情報を選択的に検索することで,課題に対処する。 この結果、ToMMYは心的プロセスについての仮定をほとんど行わずに理性を学ぶマインドモデルである。
  論文  参考訳（メタデータ） (2023-01-17T14:48:58Z)
• Social Neuro AI: Social Interaction as the "dark matter" of AI [0.0]
  我々は、社会心理学と社会神経科学の実証結果と力学の枠組みが、よりインテリジェントな人工エージェントの開発にインスピレーションを与えることができると主張している。
  論文  参考訳（メタデータ） (2021-12-31T13:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。