論文の概要: Zero, Finite, and Infinite Belief History of Theory of Mind Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2406.04800v1
- Date: Fri, 7 Jun 2024 10:04:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 14:40:28.909045
- Title: Zero, Finite, and Infinite Belief History of Theory of Mind Reasoning in Large Language Models
- Title（参考訳）: 大言語モデルにおける心推論理論のゼロ・有限・無限信仰史
- Authors: Weizhi Tang, Vaishak Belle,
- Abstract要約: 大規模言語モデル(LLM)は、最近、心の理論(ToM)能力の約束と出現を見せている。
我々は、ゼロ、有限、無限信仰史によるToM推論という新しい概念、分類学、枠組みを提案する。
我々はこのゲームで6つのLDMを評価し、Zero Belief HistoryでのパフォーマンスはFinite Belief Historyより一貫して優れていることがわかった。
- 参考スコア（独自算出の注目度）: 5.455744338342196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have recently shown a promise and emergence of Theory of Mind (ToM) ability and even outperform humans in certain ToM tasks. To evaluate and extend the boundaries of the ToM reasoning ability of LLMs, we propose a novel concept, taxonomy, and framework, the ToM reasoning with Zero, Finite, and Infinite Belief History and develop a multi-round text-based game, called $\textit{Pick the Right Stuff}$, as a benchmark. We have evaluated six LLMs with this game and found their performance on Zero Belief History is consistently better than on Finite Belief History. In addition, we have found two of the models with small parameter sizes outperform all the evaluated models with large parameter sizes. We expect this work to pave the way for future ToM benchmark development and also for the promotion and development of more complex AI agents or systems which are required to be equipped with more complex ToM reasoning ability.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、心の理論(ToM)能力の約束と出現を示し、特定のToMタスクにおいて人間よりも優れています。
LLMのToM推論能力を評価・拡張するために、Zero, Finite, Infinite Belief Historyを用いたToM推論という新しい概念、分類、フレームワークを提案し、ベンチマークとして$\textit{Pick the Right Stuff}$と呼ばれるマルチラウンドテキストベースのゲームを開発する。
我々はこのゲームで6つのLDMを評価し、Zero Belief HistoryでのパフォーマンスはFinite Belief Historyより一貫して優れていることがわかった。
さらに,パラメータサイズが小さいモデルのうち2つが,パラメータサイズが大きいモデルで評価されたモデルよりも優れていた。
この作業は、将来のToMベンチマーク開発と、より複雑なToM推論能力を備える必要がある、より複雑なAIエージェントやシステムの促進と開発のための道を開くことを期待しています。
関連論文リスト
- Perceptions to Beliefs: Exploring Precursory Inferences for Theory of Mind in Large Language Models [51.91448005607405]
ToMi と FANToM に文字認識を付加することにより,ヒト ToM 前駆体の評価を行った。
本稿では,LLMの強い知覚推定能力を利用した新しいToM手法であるPercepToMについて述べる。
論文 参考訳（メタデータ） (2024-07-08T14:58:29Z) - ToM-LM: Delegating Theory of Mind Reasoning to External Symbolic Executors in Large Language Models [5.455744338342196]
心の理論(りょうせい、英: Theory of Mind、ToM)とは、個人が心の状態を他人に当てはめる能力のこと。
大きな言語モデル(LLM)は、ToMの能力といくつかの約束を示しているが、それでも複雑なToM推論に苦戦している。
論文 参考訳（メタデータ） (2024-04-23T20:59:03Z) - NegotiationToM: A Benchmark for Stress-testing Machine Theory of Mind on Negotiation Surrounding [55.38254464415964]
現在、マインド評価の理論は、機械生成データやゲーム設定を用いたテストモデルに焦点を合わせており、ショートカットや素早い相関が生じる傾向にある。
我々は,多次元精神状態を取り巻く実世界の交渉において,ストレステストマシンToMのための新しいベンチマークであるNegotiationToMを紹介する。
論文 参考訳（メタデータ） (2024-04-21T11:51:13Z) - MMToM-QA: Multimodal Theory of Mind Question Answering [80.87550820953236]
心の理論 (ToM) は人間レベルの社会知能を持つ機械を開発する上で不可欠な要素である。
最近の機械学習モデル、特に大きな言語モデルは、ToM理解のいくつかの側面を示しているようだ。
一方、ヒューマンToMはビデオやテキストの理解以上のものです。
人は、利用可能なデータから抽出された概念的表現に基づいて、他人の心について柔軟に推論することができる。
論文 参考訳（メタデータ） (2024-01-16T18:59:24Z) - Think Twice: Perspective-Taking Improves Large Language Models'
Theory-of-Mind Capabilities [63.90227161974381]
SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。
我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2023-11-16T22:49:27Z) - Theory of Mind in Large Language Models: Examining Performance of 11
State-of-the-Art models vs. Children Aged 7-10 on Advanced Tests [1.099532646524593]
我々は、心の理論(ToM)に関連する能力に基づいて、11のベースおよび命令調整型大言語モデル(LLM)をテストする。
また, GPT ファミリーの命令調整 LLM は, 他のモデルよりも優れており,子供もよく見られる。
我々は,言語とToMの相互接続進化と開発が,命令チューニングがもたらす意味を説明するのに役立つことを示唆している。
論文 参考訳（メタデータ） (2023-10-31T09:55:07Z) - Towards A Holistic Landscape of Situated Theory of Mind in Large
Language Models [14.491223187047378]
大言語モデル(LLM)は、心の理論(ToM)の出現の可能性について、かなりの関心と議論を巻き起こしている。
最近のいくつかの調査では、これらのモデルに堅牢なToMが欠如していることが判明し、新しいベンチマークの開発に対する需要が高まっている。
マシンToMを7つのメンタルステートカテゴリに分類し、既存のベンチマークをデライン化して、探索されていないToMの側面を特定します。
論文 参考訳（メタデータ） (2023-10-30T15:12:09Z) - HI-TOM: A Benchmark for Evaluating Higher-Order Theory of Mind Reasoning
in Large Language Models [31.831042765744204]
心の理論(りょうがく、英: Theory of Mind、ToM)とは、自己と他者の精神状態について考える能力である。
本稿では,高次マインド理論のベンチマークであるHI-TOMを紹介する。
各種Large Language Models (LLM) を用いた実験により,高次ToMタスクの性能低下が示唆された。
論文 参考訳（メタデータ） (2023-10-25T16:41:15Z) - FANToM: A Benchmark for Stress-testing Machine Theory of Mind in
Interactions [94.61530480991627]
現在、マインド評価の理論は、本質的に相互作用性に欠ける受動的物語を用いたテストモデルに焦点を当てている。
本稿では,情報非対称な会話文脈におけるToMのストレステストを目的とした新しいベンチマークであるFANToMを紹介する。
論文 参考訳（メタデータ） (2023-10-24T00:24:11Z) - Reason for Future, Act for Now: A Principled Framework for Autonomous
LLM Agents with Provable Sample Efficiency [53.8779374188643]
本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。
具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。
各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
論文 参考訳（メタデータ） (2023-09-29T16:36:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。