論文の概要: Do LLM Agents Exhibit Social Behavior?
- arxiv url: http://arxiv.org/abs/2312.15198v3
- Date: Tue, 15 Oct 2024 20:27:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 17:35:40.517296
- Title: Do LLM Agents Exhibit Social Behavior?
- Title(参考訳): LLMエージェントは社会行動を抑制するか?
- Authors: Yan Leng, Yuan Yuan,
- Abstract要約: State-Understanding-Value-Action (SUVA) は、社会的文脈における応答を体系的に分析するフレームワークである。
最終決定とそれにつながる反応生成プロセスの両方を通じて社会的行動を評価する。
発話に基づく推論がLLMの最終動作を確実に予測できることを実証する。
- 参考スコア(独自算出の注目度): 5.094340963261968
- License:
- Abstract: As LLMs increasingly take on roles in human-AI interactions and autonomous AI systems, understanding their social behavior becomes important for informed use and continuous improvement. However, their behaviors in social interactions with humans and other agents, as well as the mechanisms shaping their responses, remain underexplored. To address this gap, we introduce a novel probabilistic framework, State-Understanding-Value-Action (SUVA), to systematically analyze LLM responses in social contexts based on their textual outputs (i.e., utterances). Using canonical behavioral economics games and social preference concepts relatable to LLM users, SUVA assesses LLMs' social behavior through both their final decisions and the response generation processes leading to those decisions. Our analysis of eight LLMs -- including two GPT, four LLaMA, and two Mistral models -- suggests that most models do not generate decisions aligned solely with self-interest; instead, they often produce responses that reflect social welfare considerations and display patterns consistent with direct and indirect reciprocity. Additionally, higher-capacity models more frequently display group identity effects. The SUVA framework also provides explainable tools -- including tree-based visualizations and probabilistic dependency analysis -- to elucidate how factors in LLMs' utterance-based reasoning influence their decisions. We demonstrate that utterance-based reasoning reliably predicts LLMs' final actions; references to altruism, fairness, and cooperation in the reasoning increase the likelihood of prosocial actions, while mentions of self-interest and competition reduce them. Overall, our framework enables practitioners to assess LLMs for applications involving social interactions, and provides researchers with a structured method to interpret how LLM behavior arises from utterance-based reasoning.
- Abstract(参考訳): LLMは、人間とAIのインタラクションや自律的なAIシステムにおいて役割を担っているため、その社会的行動を理解することは、情報利用と継続的な改善にとって重要である。
しかしながら、人間や他のエージェントとの社会的相互作用における彼らの行動や、その反応を形成するメカニズムは未解明のままである。
このギャップに対処するために,文章の出力(発話)に基づいて社会的文脈におけるLLM応答を体系的に解析する,新しい確率的枠組みであるState-Understanding-Value-Action(SUVA)を導入する。
標準行動経済学ゲームとLLM利用者に関係のある社会的嗜好の概念を用いて、SUVAは最終決定とそれにつながる応答生成プロセスの両方を通してLLMの社会的行動を評価する。
2つのGPT,4つのLLaMA,2つのMistralモデルを含む8つのLCMの分析は、ほとんどのモデルが自己利益のみに整合した決定を起こさないことを示唆している。
さらに、高容量モデルはより頻繁にグループアイデンティティ効果を示す。
SUVAフレームワークはまた、ツリーベースの可視化や確率的依存性分析を含む説明可能なツールを提供し、LLMの発話に基づく推論の要因が彼らの決定にどのように影響するかを明らかにする。
我々は、発話に基づく推論がLLMの最終行動(利他主義、公正性、協力)を確実に予測することを示した。
本フレームワークは,社会的相互作用を含むアプリケーションに対して,実践者がLLMを評価することを可能にし,発話に基づく推論からLLMの振る舞いがどのように生じるかを理解するための構造化された手法を提供する。
関連論文リスト
- PersLLM: A Personified Training Approach for Large Language Models [63.75008885222351]
社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。
モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
論文 参考訳(メタデータ) (2024-07-17T08:13:22Z) - Exploring Prosocial Irrationality for LLM Agents: A Social Cognition View [21.341128731357415]
大規模言語モデル(LLM)は、人間のバイアスを頻繁に含んでいるデータのために幻覚に直面することが示されている。
幻覚特性を利用してLLMエージェントのソーシャルインテリジェンスを評価し,強化するオープンエンドマルチLLMエージェントフレームワークであるCogMirを提案する。
論文 参考訳(メタデータ) (2024-05-23T16:13:33Z) - Language Model Evolution: An Iterated Learning Perspective [27.63295869974611]
我々は,Large Language Models (LLMs) の行動と人間の文化の進化の類似性を描いている。
我々のアプローチは、人間の文化進化においてどのように微妙なバイアスが拡大されるかを解明するベイズ的枠組みである反復学習(IL)を活用することである。
本稿では,ベイジアン・イルフレームワークにおけるエージェントの行動の特徴を概説する。
論文 参考訳(メタデータ) (2024-04-04T02:01:25Z) - Wait, It's All Token Noise? Always Has Been: Interpreting LLM Behavior Using Shapley Value [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。
しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。
本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-29T22:49:43Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳(メタデータ) (2024-02-20T11:03:36Z) - LLM-driven Imitation of Subrational Behavior : Illusion or Reality? [3.2365468114603937]
既存の作業は、複雑な推論タスクに対処し、人間のコミュニケーションを模倣する大規模言語モデルの能力を強調している。
そこで本研究では,LLMを用いて人工人体を合成し,サブリレーショナル・エージェント・ポリシーを学習する手法を提案する。
我々は,4つの単純なシナリオを通して,サブリレータリティをモデル化するフレームワークの能力について実験的に評価した。
論文 参考訳(メタデータ) (2024-02-13T19:46:39Z) - Can Large Language Model Agents Simulate Human Trust Behaviors? [75.69583811834073]
大規模言語モデル(LLM)エージェントは、社会科学などの応用において人間をモデル化するためのシミュレーションツールとして、ますます採用されている。
本稿では,人間同士のインタラクションや信頼の最も重要な行動の一つに焦点をあて,LLMエージェントが人間の信頼行動をシミュレートできるかどうかを検討する。
論文 参考訳(メタデータ) (2024-02-07T03:37:19Z) - LLM-Based Agent Society Investigation: Collaboration and Confrontation
in Avalon Gameplay [57.202649879872624]
Avalonのゲームプレイにシームレスに適応する新しいフレームワークを提案する。
提案するフレームワークの中核は,エージェント間の効率的な通信と対話を可能にするマルチエージェントシステムである。
本研究は,適応的かつインテリジェントなエージェントを生成する上で,我々のフレームワークの有効性を示すものである。
論文 参考訳(メタデータ) (2023-10-23T14:35:26Z) - Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View [60.80731090755224]
本稿では,理論的洞察を用いた実用実験により,現代NLPシステム間の協調機構を解明する。
我々は, LLMエージェントからなる4つの独特な社会をつくり, それぞれのエージェントは, 特定の特性(容易性, 過信性)によって特徴づけられ, 異なる思考パターン(議論, ふりかえり)と協調する。
以上の結果から, LLMエージェントは, 社会心理学理論を反映した, 適合性やコンセンサスリーディングといった人間的な社会的行動を示すことが明らかとなった。
論文 参考訳(メタデータ) (2023-10-03T15:05:52Z) - Training Socially Aligned Language Models on Simulated Social
Interactions [99.39979111807388]
AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。
現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。
本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-05-26T14:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。