論文の概要: Constrained Reasoning Chains for Enhancing Theory-of-Mind in Large Language Models
- arxiv url: http://arxiv.org/abs/2409.13490v1
- Date: Fri, 20 Sep 2024 13:27:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:58:15.600616
- Title: Constrained Reasoning Chains for Enhancing Theory-of-Mind in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるミンド理論の強化のための制約付き推論チェイン
- Authors: Zizheng Lin, Chunkit Chan, Yangqiu Song, Xin Liu,
- Abstract要約: LLM(Large Language Models)が持つ理論-of-Mind(ToM)能力は制限されている。
本稿ではドメイン知識とToM次元間の因果関係を利用して制約に対処するConstrained Chain-of-ToM(CCoToM)を提案する。
CCoToMは、使用したすべてのデータセットにまたがる大きなマージンで、従来の最先端メソッドを一貫して上回ります。
- 参考スコア(独自算出の注目度): 39.81210971002642
- License:
- Abstract: Theory-of-Mind (ToM) ability possessed by Large Language Models (LLMs) has been shown to be limited. Most existing methods for improving ToM in LLMs adopt zero-shot prompting, and they face challenges including poor performance in complex ToM reasoning tasks and an inability to handle non-narrative contexts. We propose a zero-shot prompting method named Constrained Chain-of-ToM (CCoToM) that leverages domain knowledge and the causal relations between ToM dimensions to address these limitations. Specifically, CCoToM guides LLMs to construct explicit reasoning chains by first prompting LLMs to infer related ToM dimensions (e.g., belief). Afterward, CCoToM prompts LLMs to infer the queried ToM dimension based on the generated related ToM dimensions and corresponding causal relations. Additionally, CCoToM adaptively imposes constraints on prompts to introduce inductive biases and improve consistency between ToM dimensions. Besides narratives, CCoToM can also handle non-narrative contexts like conversations. Extensive experiments show that CCoToM consistently outperforms previous state-of-the-art methods by large margins across all LLMs and datasets used. We also conduct in-depth analyses to gain deeper insights into CCoToM. We have made our code publicly available.
- Abstract(参考訳): LLM(Large Language Models)が持つ理論-of-Mind(ToM)能力は制限されている。
LLMにおけるToMの改善手法の多くはゼロショットプロンプトを採用しており、複雑なToM推論タスクのパフォーマンスの低下や、非ナラティブコンテキストを扱うことができないといった問題に直面している。
本稿では、ドメイン知識とToM次元間の因果関係を利用してこれらの制約に対処する、制約付きチェーン・オブ・ToM(CCoToM)というゼロショットプロンプト手法を提案する。
具体的には、CCoToM は LLM に対して、まず LLM に関連する ToM 次元(例えば、信念)を推論するように促すことにより、明示的な推論連鎖を構築するよう誘導する。
その後、CCoToMは、生成されたToM次元とそれに対応する因果関係に基づいて、問い合わせされたToM次元を推測するようにLCMに促す。
さらに、CCoToMはインダクティブバイアスを導入し、ToM次元間の一貫性を改善するプロンプトに適応的に制約を課す。
物語の他に、CCoToMは会話のような物語的でないコンテキストも扱える。
大規模な実験により、CCoToMはすべてのLLMとデータセットに対して、従来の最先端の手法をはるかに上回っていることが示されている。
また,CCoToMについてより深い知見を得るため,詳細な分析を行う。
コードを公開しました。
関連論文リスト
- MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。
推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。
Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文 参考訳(メタデータ) (2024-05-25T15:07:33Z) - ToM-LM: Delegating Theory of Mind Reasoning to External Symbolic Executors in Large Language Models [5.455744338342196]
心の理論(りょうせい、英: Theory of Mind、ToM)とは、個人が心の状態を他人に当てはめる能力のこと。
大きな言語モデル(LLM)は、ToMの能力といくつかの約束を示しているが、それでも複雑なToM推論に苦戦している。
論文 参考訳(メタデータ) (2024-04-23T20:59:03Z) - Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment [32.12998469814097]
大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。
実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-03-05T07:47:34Z) - Can Large Language Model Summarizers Adapt to Diverse Scientific Communication Goals? [19.814974042343028]
科学的な要約タスクにおける大規模言語モデル(LLM)の可制御性について検討する。
MuP レビュー生成タスクでは,非微調整 LLM が人間より優れていることが判明した。
論文 参考訳(メタデータ) (2024-01-18T23:00:54Z) - Fewer is More: Boosting LLM Reasoning with Reinforced Context Pruning [31.110005898556892]
大きな言語モデル(LLM)は印象的な能力を示しているが、それでも数学の推論に苦戦している。
我々はCoT-Influxを提案する。これはCoT学習の境界を押し上げる新しいアプローチである。
CoT-Influxは、CoTの実例と簡潔な例の入力を最大化するために粗いプルーナーを使用する。
論文 参考訳(メタデータ) (2023-12-14T13:03:13Z) - Compositional Chain-of-Thought Prompting for Large Multimodal Models [46.721769077885966]
CCoT(コンポジション・チェーン・オブ・ソート)は、新規なゼロショット・オブ・ソート・プロンプト法である。
まず,Large Language Model(LLM)を用いてSGを生成し,そのSGをプロンプトに使用して応答を生成する。
提案手法は,LMMの性能向上だけでなく,一般的なマルチモーダルベンチマーク上でのLMMの性能向上にも寄与する。
論文 参考訳(メタデータ) (2023-11-27T22:23:27Z) - Think Twice: Perspective-Taking Improves Large Language Models'
Theory-of-Mind Capabilities [63.90227161974381]
SimToMは、シミュレーション理論の視点取りの概念にインスパイアされた、新しいプロンプトフレームワークである。
我々のアプローチは、追加のトレーニングや最小限のプロンプトチューニングを必要とせず、既存の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-11-16T22:49:27Z) - FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。
本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。
FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
論文 参考訳(メタデータ) (2023-10-31T12:32:38Z) - FANToM: A Benchmark for Stress-testing Machine Theory of Mind in
Interactions [94.61530480991627]
現在、マインド評価の理論は、本質的に相互作用性に欠ける受動的物語を用いたテストモデルに焦点を当てている。
本稿では,情報非対称な会話文脈におけるToMのストレステストを目的とした新しいベンチマークであるFANToMを紹介する。
論文 参考訳(メタデータ) (2023-10-24T00:24:11Z) - Self-prompted Chain-of-Thought on Large Language Models for Open-domain
Multi-hop Reasoning [70.74928578278957]
オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。
大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。
高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
論文 参考訳(メタデータ) (2023-10-20T14:51:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。