論文の概要: Do LLM Agents Exhibit Social Behavior?

• arxiv url: http://arxiv.org/abs/2312.15198v3
• Date: Tue, 15 Oct 2024 20:27:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 17:35:40.517296
• Title: Do LLM Agents Exhibit Social Behavior?
• Title（参考訳）: LLMエージェントは社会行動を抑制するか?
• Authors: Yan Leng, Yuan Yuan,
• Abstract要約: State-Understanding-Value-Action (SUVA) は、社会的文脈における応答を体系的に分析するフレームワークである。 最終決定とそれにつながる反応生成プロセスの両方を通じて社会的行動を評価する。 発話に基づく推論がLLMの最終動作を確実に予測できることを実証する。
• 参考スコア（独自算出の注目度）: 5.094340963261968
• License:
• Abstract: As LLMs increasingly take on roles in human-AI interactions and autonomous AI systems, understanding their social behavior becomes important for informed use and continuous improvement. However, their behaviors in social interactions with humans and other agents, as well as the mechanisms shaping their responses, remain underexplored. To address this gap, we introduce a novel probabilistic framework, State-Understanding-Value-Action (SUVA), to systematically analyze LLM responses in social contexts based on their textual outputs (i.e., utterances). Using canonical behavioral economics games and social preference concepts relatable to LLM users, SUVA assesses LLMs' social behavior through both their final decisions and the response generation processes leading to those decisions. Our analysis of eight LLMs -- including two GPT, four LLaMA, and two Mistral models -- suggests that most models do not generate decisions aligned solely with self-interest; instead, they often produce responses that reflect social welfare considerations and display patterns consistent with direct and indirect reciprocity. Additionally, higher-capacity models more frequently display group identity effects. The SUVA framework also provides explainable tools -- including tree-based visualizations and probabilistic dependency analysis -- to elucidate how factors in LLMs' utterance-based reasoning influence their decisions. We demonstrate that utterance-based reasoning reliably predicts LLMs' final actions; references to altruism, fairness, and cooperation in the reasoning increase the likelihood of prosocial actions, while mentions of self-interest and competition reduce them. Overall, our framework enables practitioners to assess LLMs for applications involving social interactions, and provides researchers with a structured method to interpret how LLM behavior arises from utterance-based reasoning.
• Abstract（参考訳）: LLMは、人間とAIのインタラクションや自律的なAIシステムにおいて役割を担っているため、その社会的行動を理解することは、情報利用と継続的な改善にとって重要である。 しかしながら、人間や他のエージェントとの社会的相互作用における彼らの行動や、その反応を形成するメカニズムは未解明のままである。 このギャップに対処するために,文章の出力(発話)に基づいて社会的文脈におけるLLM応答を体系的に解析する,新しい確率的枠組みであるState-Understanding-Value-Action(SUVA)を導入する。 標準行動経済学ゲームとLLM利用者に関係のある社会的嗜好の概念を用いて、SUVAは最終決定とそれにつながる応答生成プロセスの両方を通してLLMの社会的行動を評価する。 2つのGPT,4つのLLaMA,2つのMistralモデルを含む8つのLCMの分析は、ほとんどのモデルが自己利益のみに整合した決定を起こさないことを示唆している。 さらに、高容量モデルはより頻繁にグループアイデンティティ効果を示す。 SUVAフレームワークはまた、ツリーベースの可視化や確率的依存性分析を含む説明可能なツールを提供し、LLMの発話に基づく推論の要因が彼らの決定にどのように影響するかを明らかにする。 我々は、発話に基づく推論がLLMの最終行動(利他主義、公正性、協力)を確実に予測することを示した。 本フレームワークは,社会的相互作用を含むアプリケーションに対して,実践者がLLMを評価することを可能にし,発話に基づく推論からLLMの振る舞いがどのように生じるかを理解するための構造化された手法を提供する。

関連論文リスト

• Engagement-Driven Content Generation with Large Language Models [8.049552839071918]
  大規模言語モデル(LLM)は1対1の相互作用において重要な説得能力を示す。 本研究では,相互接続型ユーザにおけるLCMの社会的影響と複雑な意見力学について検討する。
  論文  参考訳（メタデータ） (2024-11-20T10:40:08Z)
• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• GLEE: A Unified Framework and Benchmark for Language-based Economic Environments [19.366120861935105]
  大規模言語モデル(LLM)は、経済的および戦略的相互作用において大きな可能性を示す。 これらの疑問は、LLMベースのエージェントを実世界のデータ駆動システムに統合することの経済的および社会的意味について重要なものとなっている。 本稿では,2プレイヤー,シーケンシャル,言語ベースのゲームの研究を標準化するためのベンチマークを紹介する。
  論文  参考訳（メタデータ） (2024-10-07T17:55:35Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• Systematic Biases in LLM Simulations of Debates [12.933509143906141]
  人間の相互作用をシミュレートする際の大規模言語モデルの限界について検討する。 以上の結果から, LLMエージェントがモデル固有の社会的バイアスに適合する傾向が示唆された。 これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-06T14:51:55Z)
• Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View [60.80731090755224]
  本稿では,理論的洞察を用いた実用実験により,現代NLPシステム間の協調機構を解明する。 我々は, LLMエージェントからなる4つの独特な社会をつくり, それぞれのエージェントは, 特定の特性(容易性, 過信性)によって特徴づけられ, 異なる思考パターン(議論, ふりかえり)と協調する。 以上の結果から, LLMエージェントは, 社会心理学理論を反映した, 適合性やコンセンサスリーディングといった人間的な社会的行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T15:05:52Z)
• SurveyLM: A platform to explore emerging value perspectives in augmented language models' behaviors [0.4724825031148411]
  本稿では,拡張言語モデル(ALM)の創発的アライメント行動を分析するプラットフォームであるSurveyLMについて述べる。 従来社会行動研究に用いられてきた調査・実験手法を応用し,ALMを体系的に評価する。 我々は,ALMの創発的行動に影響を与える要因に光を当てること,人間の意図や期待との整合性を促進すること,高度社会AIシステムの開発と展開に寄与することを目的としている。
  論文  参考訳（メタデータ） (2023-08-01T12:59:36Z)
• Training Socially Aligned Language Models on Simulated Social Interactions [99.39979111807388]
  AIシステムにおける社会的アライメントは、確立された社会的価値に応じてこれらのモデルが振舞うことを保証することを目的としている。 現在の言語モデル(LM)は、トレーニングコーパスを独立して厳格に複製するように訓練されている。 本研究は,シミュレートされた社会的相互作用からLMを学習することのできる,新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。