論文の概要: Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker

• arxiv url: http://arxiv.org/abs/2306.00924v1
• Date: Thu, 1 Jun 2023 17:24:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 14:18:51.487453
• Title: Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker
• Title（参考訳）: Minding Language Models' (Lack of) Theory of Mind: a Plug-and-Play Multi-Character Belief Tracker
• Authors: Melanie Sclar, Sachin Kumar, Peter West, Alane Suhr, Yejin Choi and Yulia Tsvetkov
• Abstract要約: ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
• 参考スコア（独自算出の注目度）: 72.09076317574238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theory of Mind (ToM)$\unicode{x2014}$the ability to reason about the mental states of other people$\unicode{x2014}$is a key element of our social intelligence. Yet, despite their ever more impressive performance, large-scale neural language models still lack basic theory of mind capabilities out-of-the-box. We posit that simply scaling up models will not imbue them with theory of mind due to the inherently symbolic and implicit nature of the phenomenon, and instead investigate an alternative: can we design a decoding-time algorithm that enhances theory of mind of off-the-shelf neural language models without explicit supervision? We present SymbolicToM, a plug-and-play approach to reason about the belief states of multiple characters in reading comprehension tasks via explicit symbolic representation. More concretely, our approach tracks each entity's beliefs, their estimation of other entities' beliefs, and higher-order levels of reasoning, all through graphical representations, allowing for more precise and interpretable reasoning than previous approaches. Empirical results on the well-known ToMi benchmark (Le et al., 2019) demonstrate that SymbolicToM dramatically enhances off-the-shelf neural networks' theory of mind in a zero-shot setting while showing robust out-of-distribution performance compared to supervised baselines. Our work also reveals spurious patterns in existing theory of mind benchmarks, emphasizing the importance of out-of-distribution evaluation and methods that do not overfit a particular dataset.
• Abstract（参考訳）: the theory of mind (tom)$\unicode{x2014}$ the ability to reason about the mental state of other people$\unicode{x2014}$は、私たちの社会知能の重要な要素です。 しかし、より印象的なパフォーマンスにもかかわらず、大規模なニューラル言語モデルには、相変わらず心の能力に関する基本的な理論が欠けている。 モデルを単純にスケールアップしても、その現象の本質的に象徴的で暗黙的な性質のために、心の理論を突っ込んではならないと仮定し、代わりに別の方法を探る: 明示的な監督なしに、既成のニューラルネットワークモデルの心の理論を強化するデコード時アルゴリズムを設計できるだろうか? 我々は,複数の文字の信念状態について,明示的な記号表現を通して理解タスクを読み取るための,プラグアンドプレイ方式であるSybolicToMを提案する。 より具体的には、我々のアプローチは、各エンティティの信念、他のエンティティの信念の推定、より高次の推論レベルを、全てグラフィカルな表現を通して追跡し、より正確に解釈可能な推論を可能にする。 有名なToMiベンチマーク(Le et al., 2019)の実証的な結果によると、SybolicToMは、教師付きベースラインに比べて堅牢な配布性能を示しながら、ゼロショット設定で、市販のニューラルネットワークの心の理論を劇的に強化する。 我々の研究はまた、既存のmindベンチマークにおける散在的なパターンを明らかにし、分散性評価の重要性と、特定のデータセットに過剰に適合しない方法を強調した。

関連論文リスト

• Hypothesis-Driven Theory-of-Mind Reasoning for Large Language Models [76.6028674686018]
  エージェントの精神状態を追跡するための推論時間推論アルゴリズムである思考トレースを導入する。 提案アルゴリズムは,ベイズ理論をモデルとした。 本研究は,様々なベンチマークにおける思考トレーシングを評価し,大幅な性能向上を実証した。
  論文  参考訳（メタデータ） (2025-02-17T15:08:50Z)
• Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning [88.68573198200698]
  本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。 我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。 評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
  論文  参考訳（メタデータ） (2024-12-12T21:29:00Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic [19.476840373850653]
  大規模言語モデルは、その推論手順が論理原理に制約されないため、幻覚を示す。 記号論理に根ざした原理を活用する自己改善促進フレームワークであるLoT(Logical Thoughts)を提案する。 算術,コモンセンス,記号,因果推論,社会問題など多種多様な領域における言語課題に対する実験的評価は,論理学による推論の強化の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-23T11:21:12Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Multi-Granularity Modularized Network for Abstract Visual Reasoning [15.956555435408557]
  我々は、認知的推論を測定するために設計されたRaven Progressive Matrices Testに焦点を当てる。 認知研究から着想を得たMMON(Multi-Granularity Modularized Network)を提案する。
  論文  参考訳（メタデータ） (2020-07-09T09:54:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。