論文の概要: Do Role-Playing Agents Practice What They Preach? Belief-Behavior Consistency in LLM-Based Simulations of Human Trust
- arxiv url: http://arxiv.org/abs/2507.02197v1
- Date: Wed, 02 Jul 2025 23:30:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-04 15:37:15.369694
- Title: Do Role-Playing Agents Practice What They Preach? Belief-Behavior Consistency in LLM-Based Simulations of Human Trust
- Title（参考訳）: ロールプレイングエージェントは何を期待しているか? : LLMによる人間信頼のシミュレーションにおける信念-行動整合性
- Authors: Amogh Mannekote, Adam Davies, Guohao Li, Kristy Elizabeth Boyer, ChengXiang Zhai, Bonnie J Dorr, Francesco Pinto,
- Abstract要約: 本研究では,ロールプレイングエージェントが主張する信念が,ロールプレイング中の実際の行動とどのように一致しているかを検討する。
LLMの信念とロールプレイングシミュレーションの結果との間には,系統的な矛盾がある。
これらの知見は、LSMが主張する信念がシミュレートされた行動とどのように一致しているか、いつどのように一致しているかを特定する必要性を浮き彫りにした。
- 参考スコア（独自算出の注目度）: 32.044592572217475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As LLMs are increasingly studied as role-playing agents to generate synthetic data for human behavioral research, ensuring that their outputs remain coherent with their assigned roles has become a critical concern. In this paper, we investigate how consistently LLM-based role-playing agents' stated beliefs about the behavior of the people they are asked to role-play ("what they say") correspond to their actual behavior during role-play ("how they act"). Specifically, we establish an evaluation framework to rigorously measure how well beliefs obtained by prompting the model can predict simulation outcomes in advance. Using an augmented version of the GenAgents persona bank and the Trust Game (a standard economic game used to quantify players' trust and reciprocity), we introduce a belief-behavior consistency metric to systematically investigate how it is affected by factors such as: (1) the types of beliefs we elicit from LLMs, like expected outcomes of simulations versus task-relevant attributes of individual characters LLMs are asked to simulate; (2) when and how we present LLMs with relevant information about Trust Game; and (3) how far into the future we ask the model to forecast its actions. We also explore how feasible it is to impose a researcher's own theoretical priors in the event that the originally elicited beliefs are misaligned with research objectives. Our results reveal systematic inconsistencies between LLMs' stated (or imposed) beliefs and the outcomes of their role-playing simulation, at both an individual- and population-level. Specifically, we find that, even when models appear to encode plausible beliefs, they may fail to apply them in a consistent way. These findings highlight the need to identify how and when LLMs' stated beliefs align with their simulated behavior, allowing researchers to use LLM-based agents appropriately in behavioral studies.
- Abstract（参考訳）: LLMは、人間の行動研究のための合成データを生成するロールプレイングエージェントとして研究されているため、その出力が割り当てられた役割と整合性を保つことが重要な関心事となっている。
本稿では,LLMをベースとしたロールプレイングエージェントが,ロールプレイを依頼された人々の行動に対する信念(「何を言うか」)が,ロールプレイ中の実際の行動(「どのように振る舞うか」)にどのように対応するかを検討する。
具体的には、モデルにプロンプトすることで得られた信念が、あらかじめシミュレーション結果を予測することができるかを厳格に評価するための評価枠組みを確立する。
我々は,GenAgentsペルソナバンクとトラストゲーム(プレイヤーの信頼と互恵性を定量化する標準的な経済ゲーム)の強化版を用いて,(1)シミュレーションの結果や個々の文字のタスク関連属性の予測結果など,LSMから導き出す信念のタイプをシミュレートする,(2)信頼ゲームに関する関連情報を備えたLSMをいつ,どのように提示するか,(3)モデルにどのように影響するか,といった要因を体系的に調査する,信念-行動整合性指標を導入する。
また、元々の帰納的信念が研究目的と不一致である場合に、研究者自身の理論的前提を課すことがいかに可能かについても検討する。
以上の結果から, LLMの主張(あるいは強制)とロールプレイングシミュレーションの結果との間には, 個人レベルでも集団レベルでも, 体系的に矛盾があることが判明した。
具体的には、モデルが妥当な信念をエンコードしているように見えるとしても、一貫性のある方法でそれらを適用することに失敗する可能性があることに気付きます。
これらの知見は、LCMが主張する信念がシミュレーションされた行動とどのように一致しているかを特定する必要性を強調しており、研究者はLCMをベースとしたエージェントを行動研究に適切に使用することができる。
関連論文リスト
- Corrupted by Reasoning: Reasoning Language Models Become Free-Riders in Public Goods Games [87.5673042805229]
大規模言語モデルは、アライメント、堅牢性、安全なデプロイメントを保証する上で、いかに自己関心と集合的幸福のバランスをとるかが重要な課題である。
我々は、行動経済学から制度的に選択した公共財ゲームに適応し、異なるLLMがいかに社会的ジレンマをナビゲートするかを観察することができる。
意外なことに、o1シリーズのようなLCMの推論は、協調にかなり苦労している。
論文 参考訳（メタデータ） (2025-06-29T15:02:47Z) - LLM-Based Social Simulations Require a Boundary [3.351170542925928]
大規模言語モデル(LLM)に基づく社会シミュレーションは明確な境界を確立するべきである。
本稿では、アライメント(実世界のパターンにマッチするシミュレーション行動)、一貫性(時間とともに一貫性のあるエージェント動作を維持する)、堅牢性という3つの重要な境界問題について検討する。
論文 参考訳（メタデータ） (2025-06-24T17:14:47Z) - Prompting is Not All You Need! Evaluating LLM Agent Simulation Methodologies with Real-World Online Customer Behavior Data [62.61900377170456]
人間の行動のシミュレーションにおいて「主観的信頼性」よりも「LLMの客観的精度」を評価することに重点を置いている。
本稿では,Web ショッピング行動生成の課題に対して,最先端 LLM の総合評価を行った。
論文 参考訳（メタデータ） (2025-03-26T17:33:27Z) - Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models [50.16340812031201]
我々は,大規模言語モデル (LLM) がベイジアンフレームワークから期待されているように,その信念を更新しないことを示す。
我々は、最適ベイズモデルの予測を模倣するように訓練することで、ベイズ的な推論をLLMに教える。
論文 参考訳（メタデータ） (2025-03-21T20:13:04Z) - Persuasion with Large Language Models: a Survey [49.86930318312291]
大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。
政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。
LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
論文 参考訳（メタデータ） (2024-11-11T10:05:52Z) - Thinking Before Speaking: A Role-playing Model with Mindset [0.6428333375712125]
大規模言語モデル(LLM)は人間の振る舞いをシミュレートする能力を持っている。
これらのモデルは、想定される役割が持たないという知識に直面すると、パフォーマンスが悪くなります。
本稿では,TBS(Thinking Before Talk)モデルを提案する。
論文 参考訳（メタデータ） (2024-09-14T02:41:48Z) - Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks [5.76230391989518]
人間の調査から得られたデータを用いて,9つの非重複要因に64のトピックをロードする信念ネットワークを推定した。
次に, LLMをベースとしたエージェントを1つのトピックに対する意見付きでシードし, 残りのテストトピックと対応する人的データとのアライメントについて, その表現された意見のアライメントを評価した。
人口統計情報のみに基づくロールプレイングはLLMと人的意見の一致はしなかったが、エージェントを単一の信念でシードすることで、ネットワーク外のトピックではなく、信念ネットワークに関連するトピックのアライメントを大幅に改善した。
論文 参考訳（メタデータ） (2024-06-25T02:37:29Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。
本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。
さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。
これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文 参考訳（メタデータ） (2024-04-08T14:15:56Z) - Can Large Language Model Agents Simulate Human Trust Behavior? [81.45930976132203]
本研究では,Large Language Model (LLM) エージェントが人間の信頼行動をシミュレートできるかどうかを検討する。
GPT-4は、信頼行動の観点から、人間と高い行動アライメントを示す。
また、エージェント信頼のバイアスや、他のLSMエージェントや人間に対するエージェント信頼の差についても検討する。
論文 参考訳（メタデータ） (2024-02-07T03:37:19Z) - Systematic Biases in LLM Simulations of Debates [12.933509143906141]
人間の相互作用をシミュレートする際の大規模言語モデルの限界について検討する。
以上の結果から, LLMエージェントがモデル固有の社会的バイアスに適合する傾向が示唆された。
これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-02-06T14:51:55Z) - How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。
SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
論文 参考訳（メタデータ） (2023-12-28T16:51:11Z) - Do LLM Agents Exhibit Social Behavior? [5.094340963261968]
State-Understanding-Value-Action (SUVA) は、社会的文脈における応答を体系的に分析するフレームワークである。
最終決定とそれにつながる反応生成プロセスの両方を通じて社会的行動を評価する。
発話に基づく推論がLLMの最終動作を確実に予測できることを実証する。
論文 参考訳（メタデータ） (2023-12-23T08:46:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。