論文の概要: Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play
Multi-Character Belief Tracker
- arxiv url: http://arxiv.org/abs/2306.00924v1
- Date: Thu, 1 Jun 2023 17:24:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 14:18:51.487453
- Title: Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play
Multi-Character Belief Tracker
- Title(参考訳): Minding Language Models' (Lack of) Theory of Mind: a Plug-and-Play Multi-Character Belief Tracker
- Authors: Melanie Sclar, Sachin Kumar, Peter West, Alane Suhr, Yejin Choi and
Yulia Tsvetkov
- Abstract要約: ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。
ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
- 参考スコア(独自算出の注目度): 72.09076317574238
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Theory of Mind (ToM)$\unicode{x2014}$the ability to reason about the mental
states of other people$\unicode{x2014}$is a key element of our social
intelligence. Yet, despite their ever more impressive performance, large-scale
neural language models still lack basic theory of mind capabilities
out-of-the-box. We posit that simply scaling up models will not imbue them with
theory of mind due to the inherently symbolic and implicit nature of the
phenomenon, and instead investigate an alternative: can we design a
decoding-time algorithm that enhances theory of mind of off-the-shelf neural
language models without explicit supervision? We present SymbolicToM, a
plug-and-play approach to reason about the belief states of multiple characters
in reading comprehension tasks via explicit symbolic representation. More
concretely, our approach tracks each entity's beliefs, their estimation of
other entities' beliefs, and higher-order levels of reasoning, all through
graphical representations, allowing for more precise and interpretable
reasoning than previous approaches. Empirical results on the well-known ToMi
benchmark (Le et al., 2019) demonstrate that SymbolicToM dramatically enhances
off-the-shelf neural networks' theory of mind in a zero-shot setting while
showing robust out-of-distribution performance compared to supervised
baselines. Our work also reveals spurious patterns in existing theory of mind
benchmarks, emphasizing the importance of out-of-distribution evaluation and
methods that do not overfit a particular dataset.
- Abstract(参考訳): the theory of mind (tom)$\unicode{x2014}$ the ability to reason about the mental state of other people$\unicode{x2014}$は、私たちの社会知能の重要な要素です。
しかし、より印象的なパフォーマンスにもかかわらず、大規模なニューラル言語モデルには、相変わらず心の能力に関する基本的な理論が欠けている。
モデルを単純にスケールアップしても、その現象の本質的に象徴的で暗黙的な性質のために、心の理論を突っ込んではならないと仮定し、代わりに別の方法を探る: 明示的な監督なしに、既成のニューラルネットワークモデルの心の理論を強化するデコード時アルゴリズムを設計できるだろうか?
我々は,複数の文字の信念状態について,明示的な記号表現を通して理解タスクを読み取るための,プラグアンドプレイ方式であるSybolicToMを提案する。
より具体的には、我々のアプローチは、各エンティティの信念、他のエンティティの信念の推定、より高次の推論レベルを、全てグラフィカルな表現を通して追跡し、より正確に解釈可能な推論を可能にする。
有名なToMiベンチマーク(Le et al., 2019)の実証的な結果によると、SybolicToMは、教師付きベースラインに比べて堅牢な配布性能を示しながら、ゼロショット設定で、市販のニューラルネットワークの心の理論を劇的に強化する。
我々の研究はまた、既存のmindベンチマークにおける散在的なパターンを明らかにし、分散性評価の重要性と、特定のデータセットに過剰に適合しない方法を強調した。
関連論文リスト
- Think Twice: Perspective-Taking Improves Large Language Models'
Theory-of-Mind Capabilities [63.90227161974381]
SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。
我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-11-16T22:49:27Z) - Chain of Images for Intuitively Reasoning [23.692458865558486]
本稿では,複雑な言語推論問題を単純なパターン認識に変換するために,画像の連鎖(CoI)アプローチを提案する。
我々は、画像が直感的に問題解決を支援する15の異なる領域を含むCoI評価データセットを開発した。
CoI推論を支援するために,言語命令に基づいて厳密に画像を生成するシンボリック・マルチモーダル・大規模言語モデル(SyMLLM)を導入する。
論文 参考訳(メタデータ) (2023-11-09T11:14:51Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2023-06-22T05:14:00Z) - Visual Chain of Thought: Bridging Logical Gaps with Multimodal
Infillings [61.04460792203266]
本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。
本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
論文 参考訳(メタデータ) (2023-05-03T17:58:29Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳(メタデータ) (2022-01-14T14:54:58Z) - Expressive Explanations of DNNs by Combining Concept Analysis with ILP [0.3867363075280543]
我々は,dnn(feed-forward convolutional deep neural network)の理論的根拠をグローバル,表現的,言語的に説明するために,ネットワークが学習した本質的特徴を用いた。
我々の説明は元々のブラックボックスモデルに忠実であることを示している。
論文 参考訳(メタデータ) (2021-05-16T07:00:27Z) - Multi-Granularity Modularized Network for Abstract Visual Reasoning [15.956555435408557]
我々は、認知的推論を測定するために設計されたRaven Progressive Matrices Testに焦点を当てる。
認知研究から着想を得たMMON(Multi-Granularity Modularized Network)を提案する。
論文 参考訳(メタデータ) (2020-07-09T09:54:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。