論文の概要: Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker

• arxiv url: http://arxiv.org/abs/2306.00924v1
• Date: Thu, 1 Jun 2023 17:24:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 14:18:51.487453
• Title: Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker
• Title（参考訳）: Minding Language Models' (Lack of) Theory of Mind: a Plug-and-Play Multi-Character Belief Tracker
• Authors: Melanie Sclar, Sachin Kumar, Peter West, Alane Suhr, Yejin Choi and Yulia Tsvetkov
• Abstract要約: ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
• 参考スコア（独自算出の注目度）: 72.09076317574238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theory of Mind (ToM)$\unicode{x2014}$the ability to reason about the mental states of other people$\unicode{x2014}$is a key element of our social intelligence. Yet, despite their ever more impressive performance, large-scale neural language models still lack basic theory of mind capabilities out-of-the-box. We posit that simply scaling up models will not imbue them with theory of mind due to the inherently symbolic and implicit nature of the phenomenon, and instead investigate an alternative: can we design a decoding-time algorithm that enhances theory of mind of off-the-shelf neural language models without explicit supervision? We present SymbolicToM, a plug-and-play approach to reason about the belief states of multiple characters in reading comprehension tasks via explicit symbolic representation. More concretely, our approach tracks each entity's beliefs, their estimation of other entities' beliefs, and higher-order levels of reasoning, all through graphical representations, allowing for more precise and interpretable reasoning than previous approaches. Empirical results on the well-known ToMi benchmark (Le et al., 2019) demonstrate that SymbolicToM dramatically enhances off-the-shelf neural networks' theory of mind in a zero-shot setting while showing robust out-of-distribution performance compared to supervised baselines. Our work also reveals spurious patterns in existing theory of mind benchmarks, emphasizing the importance of out-of-distribution evaluation and methods that do not overfit a particular dataset.
• Abstract（参考訳）: the theory of mind (tom)$\unicode{x2014}$ the ability to reason about the mental state of other people$\unicode{x2014}$は、私たちの社会知能の重要な要素です。 しかし、より印象的なパフォーマンスにもかかわらず、大規模なニューラル言語モデルには、相変わらず心の能力に関する基本的な理論が欠けている。 モデルを単純にスケールアップしても、その現象の本質的に象徴的で暗黙的な性質のために、心の理論を突っ込んではならないと仮定し、代わりに別の方法を探る: 明示的な監督なしに、既成のニューラルネットワークモデルの心の理論を強化するデコード時アルゴリズムを設計できるだろうか? 我々は,複数の文字の信念状態について,明示的な記号表現を通して理解タスクを読み取るための,プラグアンドプレイ方式であるSybolicToMを提案する。 より具体的には、我々のアプローチは、各エンティティの信念、他のエンティティの信念の推定、より高次の推論レベルを、全てグラフィカルな表現を通して追跡し、より正確に解釈可能な推論を可能にする。 有名なToMiベンチマーク(Le et al., 2019)の実証的な結果によると、SybolicToMは、教師付きベースラインに比べて堅牢な配布性能を示しながら、ゼロショット設定で、市販のニューラルネットワークの心の理論を劇的に強化する。 我々の研究はまた、既存のmindベンチマークにおける散在的なパターンを明らかにし、分散性評価の重要性と、特定のデータセットに過剰に適合しない方法を強調した。

関連論文リスト

• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic [19.476840373850653]
  大規模言語モデルは、その推論手順が論理原理に制約されないため、幻覚を示す。 記号論理に根ざした原理を活用する自己改善促進フレームワークであるLoT(Logical Thoughts)を提案する。 算術,コモンセンス,記号,因果推論,社会問題など多種多様な領域における言語課題に対する実験的評価は,論理学による推論の強化の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-23T11:21:12Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
  本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
  論文  参考訳（メタデータ） (2023-05-26T02:15:09Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Multi-Granularity Modularized Network for Abstract Visual Reasoning [15.956555435408557]
  我々は、認知的推論を測定するために設計されたRaven Progressive Matrices Testに焦点を当てる。 認知研究から着想を得たMMON(Multi-Granularity Modularized Network)を提案する。
  論文  参考訳（メタデータ） (2020-07-09T09:54:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。