論文の概要: Think Twice: Perspective-Taking Improves Large Language Models' Theory-of-Mind Capabilities

• arxiv url: http://arxiv.org/abs/2311.10227v1
• Date: Thu, 16 Nov 2023 22:49:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 15:26:25.749441
• Title: Think Twice: Perspective-Taking Improves Large Language Models' Theory-of-Mind Capabilities
• Title（参考訳）: Think Twice: パースペクティブ・タイキングは大規模言語モデルの理論を改良する
• Authors: Alex Wilf, Sihyun Shawn Lee, Paul Pu Liang, Louis-Philippe Morency
• Abstract要約: SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。 我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 63.90227161974381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human interactions are deeply rooted in the interplay of thoughts, beliefs, and desires made possible by Theory of Mind (ToM): our cognitive ability to understand the mental states of ourselves and others. Although ToM may come naturally to us, emulating it presents a challenge to even the most advanced Large Language Models (LLMs). Recent improvements to LLMs' reasoning capabilities from simple yet effective prompting techniques such as Chain-of-Thought have seen limited applicability to ToM. In this paper, we turn to the prominent cognitive science theory "Simulation Theory" to bridge this gap. We introduce SimToM, a novel two-stage prompting framework inspired by Simulation Theory's notion of perspective-taking. To implement this idea on current ToM benchmarks, SimToM first filters context based on what the character in question knows before answering a question about their mental state. Our approach, which requires no additional training and minimal prompt-tuning, shows substantial improvement over existing methods, and our analysis reveals the importance of perspective-taking to Theory-of-Mind capabilities. Our findings suggest perspective-taking as a promising direction for future research into improving LLMs' ToM capabilities.
• Abstract（参考訳）: 人間との相互作用は、思考、信念、欲望の相互作用に深く根ざしており、心の理論(tom)によって実現されている。 ToMは自然界に現れるかもしれませんが、それをエミュレートすることは、最も先進的なLarge Language Models(LLMs)にも挑戦します。 チェイン・オブ・サート(Chain-of-Thought)のようなシンプルで効果的なプロンプト技術によるLSMの推論能力の最近の改善は、ToMに限定的な適用性を示した。 本稿では,このギャップを埋めるために,著名な認知科学理論「シミュレーション理論」に目を向ける。 シミュレーション理論の視点取りの概念に触発された新しい2段階プロンプトフレームワークであるSimToMを紹介する。 現在のToMベンチマークでこのアイデアを実装するために、SimToMはまず、問題のキャラクターが精神状態に関する質問に答える前に知っていることに基づいてコンテキストをフィルタリングする。 提案手法は,追加のトレーニングや最小限のプロンプトチューニングを必要とせず,既存の手法よりも大幅に改善することを示す。 llmsのtom能力向上に向けた今後の研究の有望な方向性として,今後の展望を示唆する。

関連論文リスト

• Perceptions to Beliefs: Exploring Precursory Inferences for Theory of Mind in Large Language Models [51.91448005607405]
  ToMi と FANToM に文字認識を付加することにより,ヒト ToM 前駆体の評価を行った。 本稿では,LLMの強い知覚推定能力を利用した新しいToM手法であるPercepToMについて述べる。
  論文  参考訳（メタデータ） (2024-07-08T14:58:29Z)
• Zero, Finite, and Infinite Belief History of Theory of Mind Reasoning in Large Language Models [5.455744338342196]
  大規模言語モデル(LLM)は、最近、心の理論(ToM)能力の約束と出現を見せている。 我々は、ゼロ、有限、無限信仰史によるToM推論という新しい概念、分類学、枠組みを提案する。 我々はこのゲームで6つのLDMを評価し、Zero Belief HistoryでのパフォーマンスはFinite Belief Historyより一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-07T10:04:39Z)
• NegotiationToM: A Benchmark for Stress-testing Machine Theory of Mind on Negotiation Surrounding [55.38254464415964]
  現在、マインド評価の理論は、機械生成データやゲーム設定を用いたテストモデルに焦点を合わせており、ショートカットや素早い相関が生じる傾向にある。 我々は,多次元精神状態を取り巻く実世界の交渉において,ストレステストマシンToMのための新しいベンチマークであるNegotiationToMを紹介する。
  論文  参考訳（メタデータ） (2024-04-21T11:51:13Z)
• What if...?: Thinking Counterfactual Keywords Helps to Mitigate Hallucination in Large Multi-modal Models [50.97705264224828]
  大規模マルチモーダルモデルに反現実的思考を組み込む新しい手法である反現実的インセプションを提案する。 我々は、より広い文脈のシーン理解にまたがる応答をモデルが関与し、生成することを目指している。 オープンソースモデルとプロプライエタリモデルの両方を含む様々なLMMの包括的分析は、反事実的思考が幻覚を著しく減少させることを裏付ける。
  論文  参考訳（メタデータ） (2024-03-20T11:27:20Z)
• Towards A Holistic Landscape of Situated Theory of Mind in Large Language Models [14.491223187047378]
  大言語モデル(LLM)は、心の理論(ToM)の出現の可能性について、かなりの関心と議論を巻き起こしている。 最近のいくつかの調査では、これらのモデルに堅牢なToMが欠如していることが判明し、新しいベンチマークの開発に対する需要が高まっている。 マシンToMを7つのメンタルステートカテゴリに分類し、既存のベンチマークをデライン化して、探索されていないToMの側面を特定します。
  論文  参考訳（メタデータ） (2023-10-30T15:12:09Z)
• HI-TOM: A Benchmark for Evaluating Higher-Order Theory of Mind Reasoning in Large Language Models [31.831042765744204]
  心の理論(りょうがく、英: Theory of Mind、ToM)とは、自己と他者の精神状態について考える能力である。 本稿では,高次マインド理論のベンチマークであるHI-TOMを紹介する。 各種Large Language Models (LLM) を用いた実験により,高次ToMタスクの性能低下が示唆された。
  論文  参考訳（メタデータ） (2023-10-25T16:41:15Z)
• FANToM: A Benchmark for Stress-testing Machine Theory of Mind in Interactions [94.61530480991627]
  現在、マインド評価の理論は、本質的に相互作用性に欠ける受動的物語を用いたテストモデルに焦点を当てている。 本稿では,情報非対称な会話文脈におけるToMのストレステストを目的とした新しいベンチマークであるFANToMを紹介する。
  論文  参考訳（メタデータ） (2023-10-24T00:24:11Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。