論文の概要: Unveiling Theory of Mind in Large Language Models: A Parallel to Single Neurons in the Human Brain

• arxiv url: http://arxiv.org/abs/2309.01660v1
• Date: Mon, 4 Sep 2023 15:26:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 18:14:51.628523
• Title: Unveiling Theory of Mind in Large Language Models: A Parallel to Single Neurons in the Human Brain
• Title（参考訳）: 大規模言語モデルにおける心の理論--ヒト脳における単一ニューロンと並行して
• Authors: Mohsen Jamali, Ziv M. Williams, Jing Cai
• Abstract要約: 大きな言語モデル(LLM)は、あるレベルの心の理論(ToM)を示すことが発見されている。 LLMのToMの能力や人間との類似性に基づく正確なプロセスはほとんど不明である。
• 参考スコア（独自算出の注目度）: 2.5350521110810056
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With their recent development, large language models (LLMs) have been found to exhibit a certain level of Theory of Mind (ToM), a complex cognitive capacity that is related to our conscious mind and that allows us to infer another's beliefs and perspective. While human ToM capabilities are believed to derive from the neural activity of a broadly interconnected brain network, including that of dorsal medial prefrontal cortex (dmPFC) neurons, the precise processes underlying LLM's capacity for ToM or their similarities with that of humans remains largely unknown. In this study, we drew inspiration from the dmPFC neurons subserving human ToM and employed a similar methodology to examine whether LLMs exhibit comparable characteristics. Surprisingly, our analysis revealed a striking resemblance between the two, as hidden embeddings (artificial neurons) within LLMs started to exhibit significant responsiveness to either true- or false-belief trials, suggesting their ability to represent another's perspective. These artificial embedding responses were closely correlated with the LLMs' performance during the ToM tasks, a property that was dependent on the size of the models. Further, the other's beliefs could be accurately decoded using the entire embeddings, indicating the presence of the embeddings' ToM capability at the population level. Together, our findings revealed an emergent property of LLMs' embeddings that modified their activities in response to ToM features, offering initial evidence of a parallel between the artificial model and neurons in the human brain.
• Abstract（参考訳）: 近年の発展に伴い、大言語モデル(llm)は、我々の意識的な心に関連する複雑な認知能力であり、他人の信念や視点を推測できる、あるレベルの心の理論(tom)を示すことが判明した。 ヒトのToM能力は、背側中頭前皮質(dmPFC)ニューロンを含む広範囲に相互に結合した脳ネットワークの神経活動に由来すると考えられているが、LLMのToMの能力や、そのヒトとの類似性は明らかになっていない。 本研究では,ヒトToMを介するdmPFCニューロンからインスピレーションを得た。 意外なことに、LSM内に隠れた埋め込み(人工ニューロン)が真または偽の信頼性試験に対して顕著な応答性を示すようになり、両者が顕著に類似していることが判明した。 これらの人工埋込み応答は、モデルのサイズに依存する特性であるToMタスク中のLLMの性能と密接に相関していた。 さらに、他の信念は埋め込み全体を用いて正確に復号化することができ、人口レベルでの埋め込みのToM能力の存在を示唆している。 以上の結果から, 人工モデルとヒト脳ニューロンとの並行性を示す最初の証拠として, ToMの特徴に反応してその活性を修飾するLDMの埋め込み特性が明らかとなった。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Perceptions to Beliefs: Exploring Precursory Inferences for Theory of Mind in Large Language Models [51.91448005607405]
  ToMi と FANToM に文字認識を付加することにより,ヒト ToM 前駆体の評価を行った。 本稿では,LLMの強い知覚推定能力を利用した新しいToM手法であるPercepToMについて述べる。
  論文  参考訳（メタデータ） (2024-07-08T14:58:29Z)
• Human-like object concept representations emerge naturally in multimodal large language models [24.003766123531545]
  大規模言語モデルにおける対象概念の表現が人間とどのように関連しているかを明らかにするために,行動解析と神経画像解析を併用した。 その結果,66次元の埋め込みは非常に安定で予測的であり,人間の心的表現に類似したセマンティッククラスタリングが認められた。 本研究は、機械知能の理解を深め、より人間的な人工知能システムの開発を知らせるものである。
  論文  参考訳（メタデータ） (2024-07-01T08:17:19Z)
• Linking In-context Learning in Transformers to Human Episodic Memory [1.124958340749622]
  我々は,トランスフォーマーに基づく大規模言語モデルにおいて,文脈内学習に寄与する帰納的頭部に焦点を当てた。 本研究では,インダクションヘッドの動作,機能,機械的特性が,ヒトのエピソード記憶の文脈的保守と検索モデルに類似していることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:51:47Z)
• What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models [50.97705264224828]
  大規模マルチモーダルモデルに反現実的思考を組み込む新しい手法である反現実的インセプションを提案する。 我々は、より広い文脈のシーン理解にまたがる応答をモデルが関与し、生成することを目指している。 オープンソースモデルとプロプライエタリモデルの両方を含む様々なLMMの包括的分析は、反事実的思考が幻覚を著しく減少させることを裏付ける。
  論文  参考訳（メタデータ） (2024-03-20T11:27:20Z)
• Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain [12.92793034617015]
  大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。 また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
  論文  参考訳（メタデータ） (2024-01-31T08:48:35Z)
• Think Twice: Perspective-Taking Improves Large Language Models' Theory-of-Mind Capabilities [63.90227161974381]
  SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。 我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-16T22:49:27Z)
• Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language Models [82.50173296858377]
  多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。 我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
  論文  参考訳（メタデータ） (2023-05-24T06:14:31Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。