論文の概要: Unveiling Theory of Mind in Large Language Models: A Parallel to Single
Neurons in the Human Brain
- arxiv url: http://arxiv.org/abs/2309.01660v1
- Date: Mon, 4 Sep 2023 15:26:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-06 18:14:51.628523
- Title: Unveiling Theory of Mind in Large Language Models: A Parallel to Single
Neurons in the Human Brain
- Title(参考訳): 大規模言語モデルにおける心の理論--ヒト脳における単一ニューロンと並行して
- Authors: Mohsen Jamali, Ziv M. Williams, Jing Cai
- Abstract要約: 大きな言語モデル(LLM)は、あるレベルの心の理論(ToM)を示すことが発見されている。
LLMのToMの能力や人間との類似性に基づく正確なプロセスはほとんど不明である。
- 参考スコア(独自算出の注目度): 2.5350521110810056
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With their recent development, large language models (LLMs) have been found
to exhibit a certain level of Theory of Mind (ToM), a complex cognitive
capacity that is related to our conscious mind and that allows us to infer
another's beliefs and perspective. While human ToM capabilities are believed to
derive from the neural activity of a broadly interconnected brain network,
including that of dorsal medial prefrontal cortex (dmPFC) neurons, the precise
processes underlying LLM's capacity for ToM or their similarities with that of
humans remains largely unknown. In this study, we drew inspiration from the
dmPFC neurons subserving human ToM and employed a similar methodology to
examine whether LLMs exhibit comparable characteristics. Surprisingly, our
analysis revealed a striking resemblance between the two, as hidden embeddings
(artificial neurons) within LLMs started to exhibit significant responsiveness
to either true- or false-belief trials, suggesting their ability to represent
another's perspective. These artificial embedding responses were closely
correlated with the LLMs' performance during the ToM tasks, a property that was
dependent on the size of the models. Further, the other's beliefs could be
accurately decoded using the entire embeddings, indicating the presence of the
embeddings' ToM capability at the population level. Together, our findings
revealed an emergent property of LLMs' embeddings that modified their
activities in response to ToM features, offering initial evidence of a parallel
between the artificial model and neurons in the human brain.
- Abstract(参考訳): 近年の発展に伴い、大言語モデル(llm)は、我々の意識的な心に関連する複雑な認知能力であり、他人の信念や視点を推測できる、あるレベルの心の理論(tom)を示すことが判明した。
ヒトのToM能力は、背側中頭前皮質(dmPFC)ニューロンを含む広範囲に相互に結合した脳ネットワークの神経活動に由来すると考えられているが、LLMのToMの能力や、そのヒトとの類似性は明らかになっていない。
本研究では,ヒトToMを介するdmPFCニューロンからインスピレーションを得た。
意外なことに、LSM内に隠れた埋め込み(人工ニューロン)が真または偽の信頼性試験に対して顕著な応答性を示すようになり、両者が顕著に類似していることが判明した。
これらの人工埋込み応答は、モデルのサイズに依存する特性であるToMタスク中のLLMの性能と密接に相関していた。
さらに、他の信念は埋め込み全体を用いて正確に復号化することができ、人口レベルでの埋め込みのToM能力の存在を示唆している。
以上の結果から, 人工モデルとヒト脳ニューロンとの並行性を示す最初の証拠として, ToMの特徴に反応してその活性を修飾するLDMの埋め込み特性が明らかとなった。
関連論文リスト
- Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models [71.93366651585275]
大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。
textbfVoTは、LLMの空間的推論を、それらの推論トレースを可視化することによって引き起こすことを目的としている。
VoTはLLMの空間的推論能力を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-04T17:45:08Z) - What if...?: Counterfactual Inception to Mitigate Hallucination Effects in Large Multimodal Models [50.97705264224828]
本稿では,LMMに反現実的思考を埋め込む新しい手法である反現実的インセプションを紹介する。
この人間ライクな推論機構をLMMに適用することにより、幻覚効果を低減し、モデルの信頼性を向上させることを目指している。
論文 参考訳(メタデータ) (2024-03-20T11:27:20Z) - Contextual Feature Extraction Hierarchies Converge in Large Language
Models and the Brain [12.92793034617015]
大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。
また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
論文 参考訳(メタデータ) (2024-01-31T08:48:35Z) - Think Twice: Perspective-Taking Improves Large Language Models'
Theory-of-Mind Capabilities [63.90227161974381]
SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。
我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-11-16T22:49:27Z) - Extracting the Multiscale Causal Backbone of Brain Dynamics [9.905883167156393]
脳力学のマルチスケール因果バックボーン(MCB)を提案する。
我々のアプローチは、近年のマルチスケール因果構造学習の進歩を活用している。
マルチスケールの性質のおかげで、因果ダイナミクスは高レベルの認知機能に関連する脳の領域によって駆動される。
論文 参考訳(メタデータ) (2023-10-31T19:47:11Z) - FANToM: A Benchmark for Stress-testing Machine Theory of Mind in
Interactions [94.61530480991627]
現在、マインド評価の理論は、本質的に相互作用性に欠ける受動的物語を用いたテストモデルに焦点を当てている。
本稿では,情報非対称な会話文脈におけるToMのストレステストを目的とした新しいベンチマークであるFANToMを紹介する。
論文 参考訳(メタデータ) (2023-10-24T00:24:11Z) - Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in
Large Language Models [82.50173296858377]
多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。
我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
論文 参考訳(メタデータ) (2023-05-24T06:14:31Z) - Extracting the Brain-like Representation by an Improved Self-Organizing
Map for Image Classification [1.2617078020344619]
Hebbian Learning Rule (HLR) は広く注目を集めている。
自己組織化マップ(SOM)は、ニューロン間の接続を確立するために競合するHLRを使用し、教師なしの方法で視覚的特徴を取得する。
本稿では,mlSOMと命名されたマルチワード,マルチコード,ローカルな受容場を備えた改良型SOMを提案する。
論文 参考訳(メタデータ) (2023-03-16T02:13:12Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics
Organized by Astrocyte-modulated Plasticity [0.0]
液体状態機械(LSM)は勾配のバックプロパゲーションなしで内部重量を調整する。
近年の知見は、アストロサイトがシナプスの可塑性と脳のダイナミクスを調節していることを示唆している。
本稿では, 自己組織的近接臨界力学を用いて, 性能の低いニューロン-アストロサイト液状状態機械 (NALSM) を提案する。
論文 参考訳(メタデータ) (2021-10-26T23:04:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。