論文の概要: Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs
- arxiv url: http://arxiv.org/abs/2210.13312v1
- Date: Mon, 24 Oct 2022 14:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 13:46:33.693916
- Title: Neural Theory-of-Mind? On the Limits of Social Intelligence in Large LMs
- Title(参考訳): 神経理論とは?
大規模LMにおける社会知能の限界について
- Authors: Maarten Sap, Ronan LeBras, Daniel Fried, Yejin Choi
- Abstract要約: 私たちは、今日の最大の言語モデルのひとつに、このようなソーシャルインテリジェンスを最初から欠いていることを示しています。
我々は、人中心のNLPアプローチは、マインドの神経理論に対してより効果的であるかもしれないと結論づける。
- 参考スコア(独自算出の注目度): 77.88043871260466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social intelligence and Theory of Mind (ToM), i.e., the ability to reason
about the different mental states, intents, and reactions of all people
involved, allow humans to effectively navigate and understand everyday social
interactions. As NLP systems are used in increasingly complex social
situations, their ability to grasp social dynamics becomes crucial.
In this work, we examine the open question of social intelligence and Theory
of Mind in modern NLP systems from an empirical and theory-based perspective.
We show that one of today's largest language models (GPT-3; Brown et al., 2020)
lacks this kind of social intelligence out-of-the box, using two tasks:
SocialIQa (Sap et al., 2019), which measures models' ability to understand
intents and reactions of participants of social interactions, and ToMi (Le et
al., 2019), which measures whether models can infer mental states and realities
of participants of situations.
Our results show that models struggle substantially at these Theory of Mind
tasks, with well-below-human accuracies of 55% and 60% on SocialIQa and ToMi,
respectively. To conclude, we draw on theories from pragmatics to contextualize
this shortcoming of large language models, by examining the limitations
stemming from their data, neural architecture, and training paradigms.
Challenging the prevalent narrative that only scale is needed, we posit that
person-centric NLP approaches might be more effective towards neural Theory of
Mind.
- Abstract(参考訳): 社会的インテリジェンスと心の理論(ToM)、すなわち、関係するすべての人々の異なる精神状態、意図、反応を推論する能力によって、人間は日々の社会的相互作用を効果的にナビゲートし理解することができる。
NLPシステムはますます複雑な社会状況において使用されるため、社会的ダイナミクスを理解する能力は重要である。
本研究では,現代NLPシステムにおける社会的知能と心の理論のオープンな問題について,実証的・理論的観点から検討する。
現在の最大の言語モデル(gpt-3, brown et al., 2020)の1つには,2つのタスク - socialiqa (sap et al., 2019) という,モデルが社会的インタラクションの参加者の意図や反応を理解する能力を測定するもの - と,モデルがメンタル状態や参加者の現実を推測できるかどうかを測定する tomi (le et al., 2019) がある。
以上の結果から,socialiqa と tomi はそれぞれ 55% と 60% の well-below-human accuracies である。
結論として,データやニューラルネットワーク,トレーニングパラダイムに起因する制限を調べることで,大規模言語モデルの欠点を文脈化するために,実用学からの理論を導出する。
スケールしか必要としない一般的な物語に従えば、人中心のNLPアプローチがマインドの神経理論に対してより効果的である可能性が示唆される。
関連論文リスト
- OpenToM: A Comprehensive Benchmark for Evaluating Theory-of-Mind
Reasoning Capabilities of Large Language Models [18.283563997849228]
N-ToM(Neural Theory-of-Mind)は、他者の精神状態を理解し、追跡する能力を持つ機械である。
OpenToMは、より長く明確な物語、明示的な性格特性、キャラクタの意図によって引き起こされる行動でN-ToMを評価するための新しいベンチマークである。
身体世界における精神状態の特定の側面をモデル化する上では最先端のLSMが活躍するが、心理学世界におけるキャラクターの精神状態を追跡する際には不足することが明らかとなった。
論文 参考訳(メタデータ) (2024-02-08T20:35:06Z) - Think Twice: Perspective-Taking Improves Large Language Models'
Theory-of-Mind Capabilities [63.90227161974381]
SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。
我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-11-16T22:49:27Z) - Mindstorms in Natural Language-Based Societies of Mind [110.05229611910478]
ミンスキーの「心の社会」とシュミットフーバーの「思考の学習」は、大規模なマルチモーダルニューラルネットワーク(NN)の多様な社会に刺激を与えた。
最近のNNベースの心の社会の実装は、大きな言語モデル(LLM)と、自然言語インタフェースを介してコミュニケーションする他のNNベースの専門家で構成されている。
これらの自然言語に基づく心の社会(NLSOMs)では、新しいエージェント(全員が同じ普遍的なシンボル言語を介して通信する)がモジュール化された方法で簡単に追加される。
論文 参考訳(メタデータ) (2023-05-26T16:21:25Z) - Memory-Augmented Theory of Mind Network [59.9781556714202]
社会的推論は、心の理論(ToM)の能力を必要とする。
ToMに対する最近の機械学習アプローチは、観察者が過去を読み、他のエージェントの振る舞いを提示するように訓練できることを実証している。
我々は,新たなニューラルメモリ機構を組み込んで符号化し,階層的な注意を払って他者に関する情報を選択的に検索することで,課題に対処する。
この結果、ToMMYは心的プロセスについての仮定をほとんど行わずに理性を学ぶマインドモデルである。
論文 参考訳(メタデータ) (2023-01-17T14:48:58Z) - Robot Learning Theory of Mind through Self-Observation: Exploiting the
Intentions-Beliefs Synergy [0.0]
心の理論(みんがく、英: Theory of Mind、TOM)は、他のエージェントの信念、意図、精神状態に起因する能力である。
我々は,意図や目標などの低レベル精神状態を予測する学習と,信念などの高レベル精神状態に寄与する学習の相乗効果を示す。
我々は,今後の適応型社会ロボットの設計に,我々のアーキテクチャ的アプローチが関係することを提案する。
論文 参考訳(メタデータ) (2022-10-17T21:12:39Z) - Predicting Opinion Dynamics via Sociologically-Informed Neural Networks [31.77040611129394]
本稿では,理論モデルとソーシャルメディアデータを統合した社会学的インフォームドニューラルネットワーク(SINN)を提案する。
特に、理論モデルを常微分方程式(ODE)として再キャストする。
我々は、データを同時に近似し、社会科学的知識を表すODEに適合するニューラルネットワークを訓練する。
論文 参考訳(メタデータ) (2022-07-07T05:55:47Z) - The world seems different in a social context: a neural network analysis
of human experimental data [57.729312306803955]
本研究では,先行・知覚的信号の精度を変化させることで,個人・社会的タスク設定の両方で人間の行動データを再現可能であることを示す。
トレーニングされたネットワークの神経活性化トレースの分析は、情報が個人や社会的条件のネットワークにおいて、根本的に異なる方法でコード化されていることを示す。
論文 参考訳(メタデータ) (2022-03-03T17:19:12Z) - Social Neuro AI: Social Interaction as the "dark matter" of AI [0.0]
我々は、社会心理学と社会神経科学の実証結果と力学の枠組みが、よりインテリジェントな人工エージェントの開発にインスピレーションを与えることができると主張している。
論文 参考訳(メタデータ) (2021-12-31T13:41:53Z) - Learning Triadic Belief Dynamics in Nonverbal Communication from Videos [81.42305032083716]
非言語コミュニケーションはエージェント間で豊富な社会情報を伝達することができる。
本論文では,エージェントの精神状態を表現,モデル化,学習,推論するために,異なる非言語的コミュニケーションキューを組み込んだ。
論文 参考訳(メタデータ) (2021-04-07T00:52:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。