論文の概要: Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning

• arxiv url: http://arxiv.org/abs/2412.12175v1
• Date: Thu, 12 Dec 2024 21:29:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:02:21.640637
• Title: Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning
• Title（参考訳）: 心の探索理論: 心の推論理論のためのプログラム誘導逆データ生成
• Authors: Melanie Sclar, Jane Yu, Maryam Fazel-Zarandi, Yulia Tsvetkov, Yonatan Bisk, Yejin Choi, Asli Celikyilmaz,
• Abstract要約: 本研究では,多様で挑戦的な心的データ理論を大規模に生成するための最初のフレームワークであるExploreToMを紹介する。 我々のアプローチは、A*検索をカスタムドメイン特化言語に利用して、複雑なストーリ構造と、新しく、多様だが、もっともらしいシナリオを生成します。 評価の結果,Llama-3.1-70B や GPT-4o などの最先端 LLM はExploreToM 生成データに対して0%,9% の精度を示した。
• 参考スコア（独自算出の注目度）: 88.68573198200698
• License:
• Abstract: Do large language models (LLMs) have theory of mind? A plethora of papers and benchmarks have been introduced to evaluate if current models have been able to develop this key ability of social intelligence. However, all rely on limited datasets with simple patterns that can potentially lead to problematic blind spots in evaluation and an overestimation of model capabilities. We introduce ExploreToM, the first framework to allow large-scale generation of diverse and challenging theory of mind data for robust training and evaluation. Our approach leverages an A* search over a custom domain-specific language to produce complex story structures and novel, diverse, yet plausible scenarios to stress test the limits of LLMs. Our evaluation reveals that state-of-the-art LLMs, such as Llama-3.1-70B and GPT-4o, show accuracies as low as 0% and 9% on ExploreToM-generated data, highlighting the need for more robust theory of mind evaluation. As our generations are a conceptual superset of prior work, fine-tuning on our data yields a 27-point accuracy improvement on the classic ToMi benchmark (Le et al., 2019). ExploreToM also enables uncovering underlying skills and factors missing for models to show theory of mind, such as unreliable state tracking or data imbalances, which may contribute to models' poor performance on benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は心の理論を持っているか? 現代のモデルがこのソーシャルインテリジェンスの主要な能力を開発できるかどうかを評価するために、多くの論文やベンチマークが紹介されている。 しかし、すべては単純なパターンを持つ限られたデータセットに依存しており、モデル能力の過大評価と問題のある盲点につながる可能性がある。 本研究では,多様かつ挑戦的な心的データ理論を大規模に生成し,堅牢なトレーニングと評価を行うための第1のフレームワークであるExploreToMを紹介する。 我々のアプローチは、カスタムドメイン特化言語に対するA*探索を活用して、複雑なストーリ構造と、LLMの限界をテストするために、新しく、多様で、もっとも妥当なシナリオを生成します。 Llama-3.1-70B や GPT-4o のような最先端の LLM はExploreToM 生成データでは 0% と 9% の精度を示し,より堅牢な心的評価理論の必要性を浮き彫りにしている。 我々の世代は、以前の作業の概念的なスーパーセットであるため、データの微調整は、古典的なToMiベンチマーク(Le et al , 2019)において27ポイントの精度向上をもたらす。 ExploreToMはまた、信頼できない状態追跡やデータの不均衡など、モデルに欠けている基礎となるスキルや要因を明らかにすることを可能にする。

関連論文リスト

• Hypothesis-Driven Theory-of-Mind Reasoning for Large Language Models [76.6028674686018]
  エージェントの精神状態を追跡するための推論時間推論アルゴリズムである思考トレースを導入する。 提案アルゴリズムは,ベイズ理論をモデルとした。 本研究は,様々なベンチマークにおける思考トレーシングを評価し,大幅な性能向上を実証した。
  論文  参考訳（メタデータ） (2025-02-17T15:08:50Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)のための最初の形式的確率的評価フレームワークを紹介する。 すなわち,モデルの出力分布に関する確率保証の高い新しい指標を提案する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• CogBench: a large language model walks into a psychology lab [12.981407327149679]
  本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。 本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。 オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
  論文  参考訳（メタデータ） (2024-02-28T10:43:54Z)
• What If the TV Was Off? Examining Counterfactual Reasoning Abilities of Multi-modal Language Models [22.0839948292609]
  我々は,現代言語モデルの対実的推論能力をテストするために,新しいデータセットC-VQAを導入する。 このデータセットは、数値クエリや対語クエリなど、さまざまなタイプでオリジナルの質問を注入することで構築される。 このデータセットを用いた現代の視覚モデルの評価では、性能低下が顕著であり、いくつかのモデルでは40%まで低下している。
  論文  参考訳（メタデータ） (2023-10-10T13:45:59Z)
• Evaluation of Categorical Generative Models -- Bridging the Gap Between Real and Synthetic Data [18.142397311464343]
  生成モデルに対する適切な拡張性の評価手法を提案する。 我々は、より困難なモデリングタスクに対応する、ますます大きな確率空間を考える。 我々は, 合成生成モデルと最先端のカテゴリー生成モデルの両方について, 合成実験により評価方法を検証する。
  論文  参考訳（メタデータ） (2022-10-28T21:05:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。