論文の概要: How Far are LLMs from Being Our Digital Twins? A Benchmark for Persona-Based Behavior Chain Simulation

• arxiv url: http://arxiv.org/abs/2502.14642v1
• Date: Thu, 20 Feb 2025 15:29:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 22:18:11.715503
• Title: How Far are LLMs from Being Our Digital Twins? A Benchmark for Persona-Based Behavior Chain Simulation
• Title（参考訳）: LLMは我々のデジタル双生児からどこまで遠いのか? : ペルソナに基づく行動連鎖シミュレーションのベンチマーク
• Authors: Rui Li, Heming Xia, Xinfeng Yuan, Qingxiu Dong, Lei Sha, Wenjie Li, Zhifang Sui,
• Abstract要約: 本稿では,デジタル双生児が連続した人間の行動をシミュレートする能力を評価する最初のベンチマークであるBehavimentChainを紹介する。 BehaviorChainは、多種多様で高品質なペルソナベースの行動連鎖で構成され、1,001のユニークなペルソナに対して15,846の異なる振る舞いがある。 総合的な評価結果は、最先端モデルでさえ、連続した人間の行動の正確なシミュレートに苦慮していることを示している。
• 参考スコア（独自算出の注目度）: 30.713599131902566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, LLMs have garnered increasing attention across academic disciplines for their potential as human digital twins, virtual proxies designed to replicate individuals and autonomously perform tasks such as decision-making, problem-solving, and reasoning on their behalf. However, current evaluations of LLMs primarily emphasize dialogue simulation while overlooking human behavior simulation, which is crucial for digital twins. To address this gap, we introduce BehaviorChain, the first benchmark for evaluating LLMs' ability to simulate continuous human behavior. BehaviorChain comprises diverse, high-quality, persona-based behavior chains, totaling 15,846 distinct behaviors across 1,001 unique personas, each with detailed history and profile metadata. For evaluation, we integrate persona metadata into LLMs and employ them to iteratively infer contextually appropriate behaviors within dynamic scenarios provided by BehaviorChain. Comprehensive evaluation results demonstrated that even state-of-the-art models struggle with accurately simulating continuous human behavior.
• Abstract（参考訳）: 近年、LSMは人間のデジタル双生児、個人を複製し、意思決定、問題解決、推論などの自律的なタスクを実行する仮想プロキシとして、学術分野に注目が集まっている。 しかし,近年のLLMの評価では,デジタル双生児にとって重要な人間の行動シミュレーションを目視しながら,対話シミュレーションが重視されている。 このギャップに対処するために、連続した人間の振る舞いをシミュレートするLSMの能力を評価する最初のベンチマークであるBehavimentChainを紹介する。 BehaviorChainは、多種多様で高品質なペルソナベースの行動連鎖で構成され、1,001のユニークなペルソナにまたがる15,846の異なる行動のそれぞれに、詳細な履歴とプロファイルメタデータがある。 評価のために,我々はペルソナメタデータをLCMに組み込んで,それを用いて,ビヘイビアチェーンが提供する動的シナリオの中で,文脈的に適切な振る舞いを反復的に推測する。 総合的な評価結果は、最先端モデルでさえ、連続した人間の行動の正確なシミュレートに苦慮していることを示している。

関連論文リスト

• SocioVerse: A World Model for Social Simulation Powered by LLM Agents and A Pool of 10 Million Real-World Users [70.02370111025617]
  本稿では,社会シミュレーションのためのエージェント駆動世界モデルであるSocioVerseを紹介する。 私たちのフレームワークは、4つの強力なアライメントコンポーネントと1000万の実際の個人からなるユーザプールを備えています。 SocioVerseは、多様性、信頼性、代表性を確保しつつ、大規模な人口動態を反映できることを示した。
  論文  参考訳（メタデータ） (2025-04-14T12:12:52Z)
• Can LLMs Simulate Personas with Reversed Performance? A Benchmark for Counterfactual Instruction Following [12.668201122427101]
  大規模言語モデル(LLM)は、仮想環境におけるペルソナのシミュレートに広く使われている。 現状のLLMでさえ、逆性能のペルソナをシミュレートできないことを示す。
  論文  参考訳（メタデータ） (2025-04-08T22:00:32Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• LLM Agents That Act Like Us: Accurate Human Behavior Simulation with Real-World Data [26.506531028553795]
  近年の研究では、LSMは人間の行動をシミュレートして、プロンプトのみの手法でLSMエージェントに電力を供給できることが示されている。 我々は Web アクション生成タスクにおいて,主観的信頼性よりも LLM の客観的精度を評価することに注力する。 本稿では,Web アクション生成タスクにおける最先端 LLM の総合的定量的評価について述べる。
  論文  参考訳（メタデータ） (2025-03-26T17:33:27Z)
• Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models [26.333097337393685]
  ユーザーが大きな言語モデル(LLM)を人為的に形作る傾向は、AI開発者、研究者、政策立案者への関心が高まっている。 本稿では,現実的かつ多様な環境下での人為的 LLM の挙動を実証的に評価する手法を提案する。 まず,14の人為的行動のマルチターン評価を開発する。 次に,ユーザインタラクションのシミュレーションを用いて,スケーラブルで自動化されたアプローチを提案する。 第3に,対話型大規模人体調査(N=1101)を実施し,実際のユーザの人文的知覚を予測するモデル行動を検証する。
  論文  参考訳（メタデータ） (2025-02-10T22:09:57Z)
• From Individual to Society: A Survey on Social Simulation Driven by Large Language Model-based Agents [47.935533238820334]
  伝統的な社会学研究は、しばしば人間の参加に頼っているが、それは効果的だが、高価であり、スケールが困難であり、倫理的な懸念がある。 大規模言語モデル(LLM)の最近の進歩は、人間の振る舞いをシミュレートし、個々の反応の複製を可能にし、多くの学際的な研究を容易にする可能性を強調している。 シミュレーションは,(1)特定の個人や人口集団を模倣する個人シミュレーション,(2)複数のエージェントが協調して特定の状況における目標を達成するシナリオシミュレーション,(3)エージェント社会内の相互作用をモデル化して実世界のダイナミクスの複雑さや多様性を反映するシミュレーション社会の3種類に分類される。
  論文  参考訳（メタデータ） (2024-12-04T18:56:37Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Systematic Biases in LLM Simulations of Debates [12.933509143906141]
  人間の相互作用をシミュレートする際の大規模言語モデルの限界について検討する。 以上の結果から, LLMエージェントがモデル固有の社会的バイアスに適合する傾向が示唆された。 これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-06T14:51:55Z)
• How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
  我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。 SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
  論文  参考訳（メタデータ） (2023-12-28T16:51:11Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。