論文の概要: Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data
- arxiv url: http://arxiv.org/abs/2603.01289v1
- Date: Sun, 01 Mar 2026 21:46:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.609777
- Title: Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data
- Title（参考訳）: 個人チューリングテスト:縦型個人データを用いたLLMシミュレーションのケーススタディ
- Authors: Minghao Guo, Ziyi Ye, Wujiang Xu, Xi Zhu, Wenyue Hua, Dimitris N. Metaxas,
- Abstract要約: 大きな言語モデル(LLM)は、目覚ましい人間のような能力を示しているが、特定の個人を複製する能力は未発見のままである。
本稿では,10年以上にわたるプライベートメッセージ履歴のボランティア配信アーカイブを用いて,LSMに基づく個人シミュレーションのケーススタディを提案する。
本研究は,ボランティアの知人が,最も有望な多候補プール内の応答を正確に識別できるかどうかを評価するための「個別チューリングテスト」を提案する。
- 参考スコア（独自算出の注目度）: 54.145424717168794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable human-like capabilities, yet their ability to replicate a specific individual remains under-explored. This paper presents a case study to investigate LLM-based individual simulation with a volunteer-contributed archive of private messaging history spanning over ten years. Based on the messaging data, we propose the "Individual Turing Test" to evaluate whether acquaintances of the volunteer can correctly identify which response in a multi-candidate pool most plausibly comes from the volunteer. We investigate prevalent LLM-based individual simulation approaches including: fine-tuning, retrieval-augmented generation (RAG), memory-based approach, and hybrid methods that integrate fine-tuning and RAG or memory. Empirical results show that current LLM-based simulation methods do not pass the Individual Turing Test, but they perform substantially better when the same test is conducted on strangers to the target individual. Additionally, while fine-tuning improves the simulation in daily chats representing the language style of the individual, retrieval-augmented and memory-based approaches demonstrate stronger performance on questions involving personal opinions and preferences. These findings reveal a fundamental trade-off between parametric and non-parametric approaches to individual simulation with LLMs when given a longitudinal context.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、目覚ましい人間のような能力を示しているが、特定の個人を複製する能力は未発見のままである。
本稿では,10年以上にわたるプライベートメッセージ履歴のボランティア配信アーカイブを用いて,LSMに基づく個人シミュレーションのケーススタディを提案する。
メッセージデータに基づいて、ボランティアの知人が、最も確実にボランティアから来る多候補プールのどの応答を正確に識別できるかを評価する「個人チューリングテスト」を提案する。
本稿では, 微調整, 検索拡張生成(RAG), メモリベースアプローチ, 微調整とRAGやメモリを統合するハイブリッド手法など, LLMに基づく個人シミュレーション手法について検討する。
実験結果から,従来のLLMシミュレーション手法は個別チューリング試験をパスしないが,同一の試験を対象者に対して行った場合,かなり良好な性能を発揮することが示された。
さらに、微調整により、個人の言語スタイルを表す日々のチャットのシミュレーションが改善される一方で、検索強化とメモリベースのアプローチは、個人の意見や好みに関する質問に対してより強力なパフォーマンスを示す。
これらの結果から,LLMを用いた個人シミュレーションにおけるパラメトリック・非パラメトリック・アプローチの基本的なトレードオフが明らかとなった。
関連論文リスト
- HumanStudy-Bench: Towards AI Agent Design for Participant Simulation [11.906370453952265]
大規模言語モデル (LLMs) は、社会科学実験のシミュレーション参加者としてますます使われている。
HUMANSTUDY-BENCHは、LLMベースのエージェントを編成し、人体実験を再構築するベンチマークおよび実行エンジンである。
科学的推論のレベルでの忠実度を評価するために,人間とエージェントの行動がどの程度一致しているかを定量化するための新しい指標を提案する。
論文 参考訳（メタデータ） (2026-01-31T12:07:42Z) - Computational Turing Test Reveals Systematic Differences Between Human and AI Language [0.0]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために社会科学でますます使われている。
既存の検証努力は人的判断に基づく評価に大きく依存している。
本稿では,LLMが人間の言語にどの程度近いかを評価するために,計算チューリングテストを提案する。
論文 参考訳（メタデータ） (2025-11-06T08:56:37Z) - SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。
現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。
シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
論文 参考訳（メタデータ） (2025-10-20T13:14:38Z) - Large Language Models as Virtual Survey Respondents: Evaluating Sociodemographic Response Generation [18.225151370273093]
本稿では,Large Language Models (LLMs) を用いた仮想調査回答者のシミュレーションを行う。
部分属性シミュレーション(PAS)と完全属性シミュレーション(FAS)の2つの新しいシミュレーション設定を導入する。
LLM-S3 (Large Language Model-based Sociodemography Simulation Survey) は4つの社会学領域にまたがる11の現実世界の公開データセットにまたがる総合ベンチマークスイートである。
論文 参考訳（メタデータ） (2025-09-08T04:59:00Z) - IROTE: Human-like Traits Elicitation of Large Language Model via In-Context Self-Reflective Optimization [66.6349183886101]
IROTEは,安定かつ伝達可能な特性抽出のための新しいインコンテキスト手法である。
IROTEが生成する1つの自己反射は、様々な下流タスクにまたがる目標特性の安定な偽造を LLM が引き起こすことを示す。
論文 参考訳（メタデータ） (2025-08-12T08:04:28Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳（メタデータ） (2025-05-23T09:37:52Z) - Deep Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions [13.929713456538932]
本稿では,マルチターンインタビュー文として生成した合成ユーザ"バックストリー"を用いた仮想ペルソナ構築手法を提案する。
本研究の背景には,ヒトの反応分布を忠実に再現した仮想的ペルソナと,グループ内・グループ外バイアスのオリジナルの研究で観察されたものと密に一致した効果の大きさが示されている。
論文 参考訳（メタデータ） (2025-04-16T00:10:34Z) - Mixture-of-Personas Language Models for Population Simulation [20.644911871150136]
大規模言語モデル(LLM)は、社会科学研究や機械学習モデルトレーニングにおいて、人為的なデータを増やすことができる。
MoPは文脈混合モデルであり、各コンポーネントは、ペルソナとサブポピュレーションの振る舞いを表す例によって特徴づけられるLMエージェントである。
MoPは柔軟性があり、モデル微調整を必要とせず、ベースモデル間で転送可能である。
論文 参考訳（メタデータ） (2025-04-07T12:43:05Z) - If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。
我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
論文 参考訳（メタデータ） (2025-03-30T16:50:57Z) - LLM-Mirror: A Generated-Persona Approach for Survey Pre-Testing [0.0]
統計的分布と個別意思決定パターンの両方を再現できるかどうかを検討する。
また,LLMに応答性固有の情報を供給することによって生成されるユーザペルソナであるLLM-Mirrorの概念についても紹介する。
PLS-SEM分析の結果, LLMはヒトの反応に一致し, LLMはヒトの反応を再現し, LLM-Mirror反応はヒトの反応に密接に従っていることがわかった。
論文 参考訳（メタデータ） (2024-12-04T09:39:56Z) - MemSim: A Bayesian Simulator for Evaluating Memory of LLM-based Personal Assistants [64.41695570145673]
生成したユーザメッセージから信頼性の高い質問や回答(QA)を自動的に構築するベイズシミュレータであるMemSimを提案する。
MemSimに基づいて、MemDailyという名前の日常生活シナリオのデータセットを生成し、我々のアプローチの有効性を評価するための広範な実験を行う。
論文 参考訳（メタデータ） (2024-09-30T10:19:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。