論文の概要: Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks

• arxiv url: http://arxiv.org/abs/2406.17232v1
• Date: Tue, 25 Jun 2024 02:37:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 16:01:10.843166
• Title: Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks
• Title（参考訳）: デモグラフィックを超えて:人間の信念ネットワークを用いたロールプレイング LLM エージェントのアライメント
• Authors: Yun-Shiuan Chuang, Zach Studdiford, Krirk Nirunwiroj, Agam Goyal, Vincent V. Frigo, Sijia Yang, Dhavan Shah, Junjie Hu, Timothy T. Rogers,
• Abstract要約: 人間の調査から得られたデータを用いて,2つの重複しない潜在因子をロードする18のトピックを含む信念ネットワークを推定した。 次に, LLMをベースとしたエージェントを1つのトピックに対する意見付きでシードし, 残りのテストトピックと対応する人的データとのアライメントについて, その表現された意見のアライメントを評価した。 人口統計情報のみに基づくロールプレイングはLLMと人的意見の一致はしなかったが、エージェントを単一の信念でシードすることで、ネットワーク外のトピックではなく、信念ネットワークに関連するトピックのアライメントを大幅に改善した。
• 参考スコア（独自算出の注目度）: 5.76230391989518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating human-like large language model (LLM) agents is crucial for faithful social simulation. Having LLMs role-play based on demographic information sometimes improves human likeness but often does not. This study assessed whether LLM alignment with human behavior can be improved by integrating information from empirically-derived human belief networks. Using data from a human survey, we estimated a belief network encompassing 18 topics loading on two non-overlapping latent factors. We then seeded LLM-based agents with an opinion on one topic, and assessed the alignment of its expressed opinions on remaining test topics with corresponding human data. Role-playing based on demographic information alone did not align LLM and human opinions, but seeding the agent with a single belief greatly improved alignment for topics related in the belief network, and not for topics outside the network. These results suggest a novel path for human-LLM belief alignment in work seeking to simulate and understand patterns of belief distributions in society.
• Abstract（参考訳）: 人間に似た大規模言語モデル(LLM)エージェントの作成は、忠実な社会シミュレーションに不可欠である。 人口統計情報に基づくLLMのロールプレイを持つことは、時に人間の類似性を改善するが、しばしばそうではない。 本研究は,経験に基づく人間の信念ネットワークからの情報を統合することで,人間の行動とLLMの整合性を向上させることができるかどうかを検証した。 人間の調査から得られたデータを用いて,2つの重複しない潜在因子をロードする18のトピックを含む信念ネットワークを推定した。 次に, LLMをベースとしたエージェントを1つのトピックに対する意見付きでシードし, 残りのテストトピックと対応する人的データとのアライメントについて, その表現された意見のアライメントを評価した。 人口統計情報のみに基づくロールプレイングはLLMと人的意見の一致はしなかったが、エージェントを単一の信念でシードすることで、ネットワーク外のトピックではなく、信念ネットワークに関連するトピックのアライメントを大幅に改善した。 これらの結果は、社会における信念分布のパターンをシミュレートし理解しようとする仕事において、人間とLLMの信念のアライメントのための新しい道筋を示唆している。

関連論文リスト

• NewsInterview: a Dataset and a Playground to Evaluate LLMs' Ground Gap via Informational Interviews [65.35458530702442]
  我々はジャーナリストのインタビューに焦点をあて、コミュニケーションの基盤と豊富なデータに富んだドメインに焦点をあてる。 我々はNPRとCNNから4万人の2人によるインフォメーションインタビューのデータセットをキュレートする。 LLMは、人間のインタビュアーよりも、認識を使い、より高いレベルの質問に目を向ける可能性がはるかに低い。
  論文  参考訳（メタデータ） (2024-11-21T01:37:38Z)
• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• Agentic Society: Merging skeleton from real world and texture from Large Language Model [4.740886789811429]
  本稿では,人口統計データと大規模言語モデルを利用して仮想人口を生成する新しい枠組みについて検討する。 本手法は,社会科学実験において,多様な人間の行動のシミュレーションに不可欠な多様性のあるペルソナを生産することを示す。 しかし, 評価結果から, 現在のLSMの能力に限界があるため, 統計的真理性の弱い兆候しか得られないことが示唆された。
  論文  参考訳（メタデータ） (2024-09-02T08:28:19Z)
• Modeling Human Subjectivity in LLMs Using Explicit and Implicit Human Factors in Personas [14.650234624251716]
  大規模言語モデル (LLMs) は、人間中心の社会科学タスクでますます使われている。 これらのタスクは非常に主観的であり、環境、態度、信念、生きた経験など人間的要因に依存している。 我々は,LLMを人間的なペルソナで促進する役割について検討し,モデルに特定の人間であるかのように答えるよう求めた。
  論文  参考訳（メタデータ） (2024-06-20T16:24:07Z)
• From Persona to Personalization: A Survey on Role-Playing Language Agents [52.783043059715546]
  大規模言語モデル(LLM)の最近の進歩はロールプレイング言語エージェント(RPLA)の台頭を後押ししている。 RPLAは、人間の類似性と鮮明なロールプレイングパフォーマンスの素晴らしい感覚を達成します。 彼らは感情的な仲間、インタラクティブなビデオゲーム、パーソナライズされたアシスタント、コピロなど、多くのAI応用を触媒してきた。
  論文  参考訳（メタデータ） (2024-04-28T15:56:41Z)
• Can Large Language Model Agents Simulate Human Trust Behavior? [81.45930976132203]
  本研究では,Large Language Model (LLM) エージェントが人間の信頼行動をシミュレートできるかどうかを検討する。 GPT-4は、信頼行動の観点から、人間と高い行動アライメントを示す。 また、エージェント信頼のバイアスや、他のLSMエージェントや人間に対するエージェント信頼の差についても検討する。
  論文  参考訳（メタデータ） (2024-02-07T03:37:19Z)
• Systematic Biases in LLM Simulations of Debates [12.933509143906141]
  人間の相互作用をシミュレートする際の大規模言語モデルの限界について検討する。 以上の結果から, LLMエージェントがモデル固有の社会的バイアスに適合する傾向が示唆された。 これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-06T14:51:55Z)
• The Wisdom of Partisan Crowds: Comparing Collective Intelligence in Humans and LLM-based Agents [7.986590413263814]
  パルチザンの知恵」は「パルチザンの知恵」として知られる現象である。 パルチザンの群衆は、人間のようなパルチザンの偏見を示すが、人間と同じように熟考を通じてより正確な信念に収束する。 コンバージェンスに干渉するいくつかの要因を同定する。例えば、チェーン・オブ・ソート・プロンプトの使用や、ペルソナにおける詳細の欠如などである。
  論文  参考訳（メタデータ） (2023-11-16T08:30:15Z)
• Simulating Opinion Dynamics with Networks of LLM-based Agents [7.697132934635411]
  本稿では,Large Language Models (LLMs) の集団に基づく意見力学のシミュレーション手法を提案する。 以上の結果から, LLMエージェントの正確な情報生成に対するバイアスが強く, シミュレーションエージェントが科学的現実に一致していることが明らかとなった。 しかし、素早い工学を通して確認バイアスを誘導した後、既存のエージェント・ベース・モデリングや意見ダイナミクス研究と並んで意見の断片化を観察した。
  論文  参考訳（メタデータ） (2023-11-16T07:01:48Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。