論文の概要: Using Cognitive Models to Improve Language Model Simulation of Human Persuasion Games

• arxiv url: http://arxiv.org/abs/2606.17657v1
• Date: Tue, 16 Jun 2026 08:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.348802
• Title: Using Cognitive Models to Improve Language Model Simulation of Human Persuasion Games
• Title（参考訳）: 認知モデルを用いた人間の説得ゲームにおける言語モデルシミュレーションの改善
• Authors: Zirui Cheng, Zeyu Shen, Thomas L. Griffiths, Peter Henderson,
• Abstract要約: 認知科学と経済学は、人間の意思決定の数学的モデルを利用するのに便利なツールであることを示す。 本研究では,大規模言語モデルと認知モデルとの一致を導くために,Equation-to-Behavior Promptingと呼ぶアプローチを提案する。 これらのシミュレーションは、多様なトレーニング環境を作るのに役立ちます。
• 参考スコア（独自算出の注目度）: 13.344253033288735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: People make decisions differently in strategic interactions. Some update beliefs like a Bayesian; others exhibit biases like motivated reasoning. Although creators of large language models use simulated humans for safety evaluations and training, they often fail to cover this breadth of human behavior. We argue that cognitive science and economics provide a convenient tool for doing so, making use of mathematical models of human decision-making. We propose an approach that we call Equation-to-Behavior Prompting for guiding large language models to match cognitive models, and evaluate this approach on persuasion games based on legal decision-making. We find that large models can approximate equation-based specifications -- Bayesian updating, affine distortion, motivated updating, and Grether's $α$-$β$ model -- using prompting, but small models fail to do so. However, training small models with reinforcement learning to adhere to mathematical rules, Equation-to-Behavior RL, reduces belief error by 26.5% in out-of-distribution parameterizations. We show that these simulations can help create diverse training environments; training small models to consider different kinds of decision-makers improves average belief change by 2.5%--12% over Bayesian-only training, even when persuading GPT-5-mini. Our work could improve human simulations for training and evaluation in increasingly realistic settings, and could also enable novel research into more complicated mathematical models of human decision-making.
• Abstract（参考訳）: 人々は戦略的相互作用において異なる意思決定をする。 ベイジアンのような更新された信念もあれば、動機付けられた推論のようなバイアスを示すものもある。 大規模な言語モデルの作成者は、安全性評価とトレーニングのためにシミュレーションされた人間を使用しているが、このような人間の振る舞いをカバーできないことが多い。 認知科学と経済学は、人間の意思決定の数学的モデルを利用して、それを行うのに便利なツールであると主張する。 本研究では,大規模言語モデルを認知モデルに適合させるため,Equation-to-Behavior Promptingと呼ぶ手法を提案する。 ベイズ的更新、アフィン歪み、モチベーション付き更新、Gretherの$α$-$β$モデルなど、大きなモデルは方程式に基づく仕様を近似することができるが、小さなモデルはそうはならない。 しかし、数学の規則に従うために強化学習を施した小さなモデルを訓練することで、分布外パラメータ化において信念誤差を26.5%削減する。 GPT-5-miniを説得しても,これらのシミュレーションは多様なトレーニング環境の創出に役立ち,異なる種類の意思決定者を考えるための小さなモデルをトレーニングすることで,ベイジアンのみのトレーニングよりも平均的信念変化が2.5%～12%向上することを示す。 我々の研究は、より現実的な環境でのトレーニングと評価のための人間のシミュレーションを改善することができ、人間の意思決定のより複雑な数学的モデルに関する新しい研究を可能にします。

関連論文リスト

• Self-supervised Analogical Learning using Language Models [59.64260218737556]
  自己教師型アナログ学習フレームワークであるSALを提案する。 SALは人間の類推過程を模倣し、高品質な記号解を明示的に伝達するようモデルを訓練する。 得られたモデルは、幅広い推論ベンチマークでベース言語モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-03T02:31:26Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Turning large language models into cognitive models [0.0]
  大規模言語モデルが認知モデルに変換可能であることを示す。 これらのモデルは人間の行動の正確な表現を提供し、2つの意思決定領域において従来の認知モデルよりも優れている。 これらの結果は、大規模で事前学習されたモデルが一般的な認知モデルに適応できることを示唆している。
  論文  参考訳（メタデータ） (2023-06-06T18:00:01Z)
• Language Models are Bounded Pragmatic Speakers: Understanding RLHF from a Bayesian Cognitive Modeling Perspective [2.8282906214258805]
  本稿では,有界プラグマティック話者と呼ばれる確率論的認知モデルを定式化する。 人間のフィードバックからの強化学習によって微調整された大きな言語モデルは、高速でスローなモデルに似た思考モデルを具現化していることを示す。
  論文  参考訳（メタデータ） (2023-05-28T16:04:48Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• Cognitive Models as Simulators: The Case of Moral Decision-Making [9.024707986238392]
  本研究では,AIシステムと対話し,人間の代わりに認知モデルからフィードバックを収集することを目的としたシミュレータとして,$textitcognitive Modelのアイデアを裏付ける。 ここでは、ウルティマトゥムゲーム(UG)の認知モデルと相互作用することで、強化学習エージェントに公正さについて学ばせることにより、道徳的意思決定の文脈でこの考え方を活用する。 我々の研究は、人間のシミュレーターとして認知モデルを使用することがAIシステムのトレーニングに効果的なアプローチであり、AIに貢献するための計算認知科学の重要な方法を提供することを示唆している。
  論文  参考訳（メタデータ） (2022-10-08T23:14:14Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。