論文の概要: Language Models Represent Beliefs of Self and Others

• arxiv url: http://arxiv.org/abs/2402.18496v3
• Date: Thu, 30 May 2024 12:43:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 20:54:36.753801
• Title: Language Models Represent Beliefs of Self and Others
• Title（参考訳）: 自己と他者の信念を表す言語モデル
• Authors: Wentao Zhu, Zhining Zhang, Yizhou Wang,
• Abstract要約: 本稿では,言語モデルのニューラルアクティベーションを通じて,様々なエージェントの観点から,信念の状態を線形に復号化できることを述べる。 我々は,モデルにおけるToMパフォーマンスの劇的な変化を観察し,社会的推論プロセスにおけるそれらの重要な役割を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 14.630775330165529
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Understanding and attributing mental states, known as Theory of Mind (ToM), emerges as a fundamental capability for human social reasoning. While Large Language Models (LLMs) appear to possess certain ToM abilities, the mechanisms underlying these capabilities remain elusive. In this study, we discover that it is possible to linearly decode the belief status from the perspectives of various agents through neural activations of language models, indicating the existence of internal representations of self and others' beliefs. By manipulating these representations, we observe dramatic changes in the models' ToM performance, underscoring their pivotal role in the social reasoning process. Additionally, our findings extend to diverse social reasoning tasks that involve different causal inference patterns, suggesting the potential generalizability of these representations.
• Abstract（参考訳）: 心の理論 (ToM) として知られる精神状態の理解と帰属は、人間の社会的推論の基本的な能力として現れる。 LLM(Large Language Models)は特定のToM能力を持っているように見えるが、これらの能力の基盤となるメカニズムはいまだ解明されていない。 本研究では,言語モデルのニューラルアクティベーションを通じて,様々なエージェントの視点から信念の状態を線形に復号し,自己や他者の信念の内部表現の存在を示唆することを発見した。 これらの表現を操作することで,モデルのToMパフォーマンスの劇的な変化を観察し,社会的推論プロセスにおけるそれらの重要な役割を明らかにする。 さらに,本研究は,様々な因果推論パターンを含む多様な社会的推論タスクにまで拡張し,これらの表現の一般化可能性について示唆した。

関連論文リスト

• Perceptions to Beliefs: Exploring Precursory Inferences for Theory of Mind in Large Language Models [51.91448005607405]
  ToMi と FANToM に文字認識を付加することにより,ヒト ToM 前駆体の評価を行った。 本稿では,LLMの強い知覚推定能力を利用した新しいToM手法であるPercepToMについて述べる。
  論文  参考訳（メタデータ） (2024-07-08T14:58:29Z)
• Benchmarking Mental State Representations in Language Models [9.318796743761224]
  モデルの内部的な精神状態の表現に関する研究は依然として限られている。 最近の研究は、LMが自分自身や他人の信念を表現できることを示すのに、プローブを用いている。 モデルサイズが異なる様々なLMタイプを用いた広範囲なベンチマークを報告する。 我々は,素早い変化が心的タスクの理論における探索的パフォーマンスにどのように影響するかを初めて研究する。
  論文  参考訳（メタデータ） (2024-06-25T12:51:06Z)
• Learning World Models With Hierarchical Temporal Abstractions: A Probabilistic Perspective [2.61072980439312]
  内部世界モデルを開発するためのフォーマリズムの開発は、人工知能と機械学習の分野における重要な研究課題である。 この論文は、状態空間モデルを内部世界モデルとして広く用いられることによるいくつかの制限を識別する。 形式主義におけるモデルの構造は、信念の伝播を用いた正確な確率的推論を促進するとともに、時間を通してのバックプロパゲーションによるエンドツーエンドの学習を促進する。 これらの形式主義は、世界の状態における不確実性の概念を統合し、現実世界の性質をエミュレートし、その予測の信頼性を定量化する能力を向上させる。
  論文  参考訳（メタデータ） (2024-04-24T12:41:04Z)
• PHAnToM: Persona-based Prompting Has An Effect on Theory-of-Mind Reasoning in Large Language Models [25.657579792829743]
  我々は,ロールプレイングの促進が理論・オブ・ミンド(ToM)推論能力にどのように影響するかを実証的に評価した。 本稿では、推論タスクの複雑さの固有のばらつきを超えて、社会的に動機づけられた相違が原因で、パフォーマンスの違いが発生するメカニズムを提案する。
  論文  参考訳（メタデータ） (2024-03-04T17:34:34Z)
• Large language models as linguistic simulators and cognitive models in human research [0.0]
  人間のようなテキストを生成する大きな言語モデル(LLM)の台頭は、行動や認知研究における人間の参加者を置き換える可能性についての議論を巻き起こした。 心理学・社会科学における言語モデルの基本的有用性を評価するために,この代替視点を批判的に評価する。 この視点は、行動科学と認知科学における言語モデルの役割を再定義し、言語シミュレータや認知モデルとして機能し、マシンインテリジェンスと人間の認知と思考の類似点と相違点に光を当てている。
  論文  参考訳（メタデータ） (2024-02-06T23:28:23Z)
• Visual cognition in multimodal large language models [12.603212933816206]
  近年の進歩は、人間のような認知能力をエミュレートする可能性への関心を再燃させた。 本稿では、直観物理学、因果推論、直観心理学の分野における視覚に基づく大規模言語モデルの現状を評価する。
  論文  参考訳（メタデータ） (2023-11-27T18:58:34Z)
• Think Twice: Perspective-Taking Improves Large Language Models' Theory-of-Mind Capabilities [63.90227161974381]
  SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。 我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-11-16T22:49:27Z)
• Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker [72.09076317574238]
  ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
  論文  参考訳（メタデータ） (2023-06-01T17:24:35Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
  本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。 この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。 実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2022-04-17T11:21:18Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。