論文の概要: LLM-Twin: A Generated-Persona Approach for Survey Pre-Testing
- arxiv url: http://arxiv.org/abs/2412.03162v1
- Date: Wed, 04 Dec 2024 09:39:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-05 15:09:18.075323
- Title: LLM-Twin: A Generated-Persona Approach for Survey Pre-Testing
- Title（参考訳）: LLM-Twin: サーベイ前テストのための生成ペソナアプローチ
- Authors: Sunwoong Kim, Jongho Jeong, Jin Soo Han, Donghyuk Shin,
- Abstract要約: 統計的分布と個別意思決定パターンの両方を再現できるかどうかを検討する。
LLM-Twinが生成した回答と実際の個人調査の回答を比較することで、個々のレベルの結果の複製におけるその効果を評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Surveys are widely used in social sciences to understand human behavior, but their implementation often involves iterative adjustments that demand significant effort and resources. To this end, researchers have increasingly turned to large language models (LLMs) to simulate human behavior. While existing studies have focused on distributional similarities, individual-level comparisons remain underexplored. Building upon prior work, we investigate whether providing LLMs with respondents' prior information can replicate both statistical distributions and individual decision-making patterns using Partial Least Squares Structural Equation Modeling (PLS-SEM), a well-established causal analysis method. We also introduce the concept of the LLM-Twin, user personas generated by supplying respondent-specific information to the LLM. By comparing responses generated by the LLM-Twin with actual individual survey responses, we assess its effectiveness in replicating individual-level outcomes. Our findings show that: (1) PLS-SEM analysis shows LLM-generated responses align with human responses, (2) LLMs, when provided with respondent-specific information, are capable of reproducing individual human responses, and (3) LLM-Twin responses closely follow human responses at the individual level. These findings highlight the potential of LLMs as a complementary tool for pre-testing surveys and optimizing research design.
- Abstract（参考訳）: 調査は社会科学において人間の行動を理解するために広く利用されているが、その実施には多大な努力と資源を必要とする反復的な調整が伴うことが多い。
この目的のために研究者たちは、人間の振る舞いをシミュレートする大きな言語モデル(LLM)に目を向けている。
既存の研究では分布の類似性に焦点が当てられているが、個々のレベルの比較は未解明のままである。
先行研究に基づき, 統計的分布と個別決定パターンの両方を再現できるかどうかを, 因果解析手法PLS-SEMを用いて検討した。
また,LLMに応答性固有の情報を供給することによって生成されるユーザペルソナであるLLM-Twinの概念についても紹介する。
LLM-Twinが生成した回答と実際の個人調査の回答を比較することで、個々のレベルの結果の複製におけるその効果を評価する。
その結果, (1) PLS-SEM分析の結果, LLM生成応答はヒトの反応と一致し, (2) LLMは個々のヒトの反応を再現でき, (3) LLM-Twin応答はヒトの反応と密接に一致していることがわかった。
これらの知見は, 先行調査と研究設計の最適化を補完するツールとして, LLMsの可能性を強調した。
関連論文リスト
- Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。
テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。
予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
論文 参考訳（メタデータ） (2025-02-10T21:59:27Z) - Enhancing Patient-Centric Communication: Leveraging LLMs to Simulate Patient Perspectives [19.462374723301792]
大きな言語モデル(LLM)はロールプレイングのシナリオにおいて印象的な機能を示している。
人間の行動を模倣することで、LLMは具体的な人口統計や専門的なプロファイルに基づいて反応を予測できる。
多様な背景を持つ個人をシミュレーションする上でのLLMの有効性を評価し,これらのシミュレーション行動の一貫性を解析した。
論文 参考訳（メタデータ） (2025-01-12T22:49:32Z) - Evaluating Explanations Through LLMs: Beyond Traditional User Studies [7.377398767507683]
我々は,7つの大言語モデル(LLM)を用いた人間参加者を再現し,反事実的・因果的説明を比較検討したユーザスタディを再現する。
以上の結果から, (i) LLMは, 原研究の結論のほとんどを再現でき, (ii) 異なるLLMは, 結果のアライメントレベルが異なること, (iii) LLMメモリや出力変動性などの実験的要因がヒトの反応のアライメントに影響を及ぼすことが示唆された。
論文 参考訳（メタデータ） (2024-10-23T11:31:52Z) - The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。
本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
論文 参考訳（メタデータ） (2024-10-07T02:30:18Z) - Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。
しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。
本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2024-03-29T22:49:43Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳（メタデータ） (2024-02-16T18:28:43Z) - Systematic Biases in LLM Simulations of Debates [12.933509143906141]
人間の相互作用をシミュレートする際の大規模言語モデルの限界について検討する。
以上の結果から, LLMエージェントがモデル固有の社会的バイアスに適合する傾向が示唆された。
これらの結果は、エージェントがこれらのバイアスを克服するのに役立つ方法を開発するためのさらなる研究の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-02-06T14:51:55Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳（メタデータ） (2023-11-07T15:40:43Z) - Framework-Based Qualitative Analysis of Free Responses of Large Language
Models: Algorithmic Fidelity [1.7947441434255664]
大規模生成言語モデル(LLM)は、質的研究手法を用いて伝統的に分析されたようなインタビュー質問に対する自由応答をシミュレートすることができる。
本稿では, LLMが生成する人工シリコン参加者について, 定性的手法を用いて生産的に研究できるかどうかを考察する。
論文 参考訳（メタデータ） (2023-09-06T15:00:44Z) - On Learning to Summarize with Large Language Models as References [101.79795027550959]
大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。
より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
論文 参考訳（メタデータ） (2023-05-23T16:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。