Fugu-MT 論文翻訳(概要): Using Large Language Models to Create AI Personas for Replication and Prediction of Media Effects: An Empirical Test of 133 Published Experimental Research Findings

論文の概要: Using Large Language Models to Create AI Personas for Replication and Prediction of Media Effects: An Empirical Test of 133 Published Experimental Research Findings

arxiv url: http://arxiv.org/abs/2408.16073v1
Date: Wed, 28 Aug 2024 18:14:39 GMT
ステータス: 処理完了
システム内更新日: 2024-08-30 17:43:40.864250
Title: Using Large Language Models to Create AI Personas for Replication and Prediction of Media Effects: An Empirical Test of 133 Published Experimental Research Findings
Title（参考訳）: 大規模言語モデルを用いたメディア効果の再現と予測のためのAIペルソナ作成:133個の実験結果の実証実験
Authors: Leo Yeykelis, Kaavya Pichai, James J. Cummings, Byron Reeves,
Abstract要約: 本稿では,大規模言語モデル(LLM)がメッセージ効果研究の正確な複製を高速化する可能性について分析する。 The Journal of Marketingに掲載された45の最近の研究を含む14の論文から133の実験結果を再現し,LSMを用いた参加者を試験した。 LLMの複製は、元のメインエフェクトの76%(111点中84点)を再現し、メディア刺激に反応する研究のAIによる複製の可能性を示した。
参考スコア（独自算出の注目度）: 0.3749861135832072
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This report analyzes the potential for large language models (LLMs) to expedite accurate replication of published message effects studies. We tested LLM-powered participants (personas) by replicating 133 experimental findings from 14 papers containing 45 recent studies in the Journal of Marketing (January 2023-May 2024). We used a new software tool, Viewpoints AI (https://viewpoints.ai/), that takes study designs, stimuli, and measures as input, automatically generates prompts for LLMs to act as a specified sample of unique personas, and collects their responses to produce a final output in the form of a complete dataset and statistical analysis. The underlying LLM used was Anthropic's Claude Sonnet 3.5. We generated 19,447 AI personas to replicate these studies with the exact same sample attributes, study designs, stimuli, and measures reported in the original human research. Our LLM replications successfully reproduced 76% of the original main effects (84 out of 111), demonstrating strong potential for AI-assisted replication of studies in which people respond to media stimuli. When including interaction effects, the overall replication rate was 68% (90 out of 133). The use of LLMs to replicate and accelerate marketing research on media effects is discussed with respect to the replication crisis in social science, potential solutions to generalizability problems in sampling subjects and experimental conditions, and the ability to rapidly test consumer responses to various media stimuli. We also address the limitations of this approach, particularly in replicating complex interaction effects in media response studies, and suggest areas for future research and improvement in AI-assisted experimental replication of media effects.
Abstract（参考訳）: 本報告では,大規模言語モデル(LLM)が,公開メッセージ効果研究の正確な複製を高速化する可能性について分析する。 The Journal of Marketing (2023年1月～2024年5月) に掲載された14論文から, LLM を用いた参加者 (ペルソナ) を再現し, 実験を行った。我々は新しいソフトウェアツール、Viewpoints AI (https://viewpoints.ai/)を使用し、学習デザイン、刺激、測定を入力として取り、LLMが特定のペルソナのサンプルとして振る舞うプロンプトを自動的に生成し、その応答を収集し、完全なデータセットと統計分析の形式で最終的な出力を生成する。 LLMは、アントロピックのクロード・ソネット3.5である。われわれは19,447人のAIペルソナを作成した。 LLMの複製は、元のメインエフェクトの76%(111点中84点)を再現し、メディア刺激に反応する研究のAIによる複製の可能性を示した。相互作用効果を含む場合, 全体の複製率は68% (133例中90例) であった。メディアエフェクトのマーケティング研究を再現・加速するためにLLMを使うことは、社会科学における複製危機、サンプリング対象と実験条件における一般化可能性問題に対する潜在的な解決策、様々なメディア刺激に対する消費者の反応を迅速にテストする能力について論じる。また、メディア応答研究における複雑な相互作用効果の複製におけるこのアプローチの限界にも対処し、AIによるメディア効果の実験的複製の今後の研究と改善の分野を提案する。

関連論文リスト

Generative Agent Simulations of 1,000 People [56.82159813294894]
本稿では,1,052人の実人の態度と行動をシミュレートする新しいエージェントアーキテクチャを提案する。生成エージェントは一般社会調査の参加者の回答を85%の精度で再現する。我々のアーキテクチャは、人種的およびイデオロギー的グループにおける正確さのバイアスを、人口統計学的記述のエージェントと比較して低減する。
論文参考訳（メタデータ） (2024-11-15T11:14:34Z)
Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance [95.03771007780976]
我々は、人間の指示なしにタスクを予測および開始できるプロアクティブエージェントを開発するという課題に取り組む。まず,実世界の人的活動を収集し,前向きなタスク予測を生成する。これらの予測は、ヒトのアノテータによって受け入れられるか拒否されるかのどちらかとしてラベル付けされる。ラベル付きデータは、人間の判断をシミュレートする報酬モデルをトレーニングするために使用される。
論文参考訳（メタデータ） (2024-10-16T08:24:09Z)
Can AI Replace Human Subjects? A Large-Scale Replication of Psychological Experiments with LLMs [1.5031024722977635]
GPT-4は76.0パーセントの主効果と47.0パーセントの相互作用効果の再現に成功した。 GPT-4の再現された信頼区間は、元の効果の大きさを含み、ほとんどの再現された効果の大きさは、元の研究の95%の信頼区間を超える。我々の研究は、心理学研究における強力なツールとしてのLLMの可能性を示しているが、AIによる知見の解釈には注意が必要であることも強調している。
論文参考訳（メタデータ） (2024-08-29T05:18:50Z)
Simulating Field Experiments with Large Language Models [0.6144680854063939]
本稿では,大規模言語モデル(LLM)のフィールド実験への応用を先導する。観測者モードと参加者モードという2つの新しいプロンプト戦略を導入することで、複雑なフィールド設定において、結果の予測と参加者応答の再現の両方を行うLLMの能力を実証する。以上の結果から,特定のシナリオにおいて実際の実験結果と良好な一致を示し,観察モードでは66%の刺激精度が得られた。
論文参考訳（メタデータ） (2024-08-19T03:41:43Z)
SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文参考訳（メタデータ） (2024-06-10T21:22:08Z)
Exploring the use of a Large Language Model for data extraction in systematic reviews: a rapid feasibility study [0.28318468414401093]
本稿では,大規模言語モデル (LLM) である GPT-4 を用いて,体系的レビューにおけるデータ抽出(セミ)の実現可能性について述べる。その結果,約80%の精度で,領域間での変動が認められた。
論文参考訳（メタデータ） (2024-05-23T11:24:23Z)
ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
ResearchAgentは、大規模言語モデルによる研究アイデア作成エージェントである。科学文献に基づいて繰り返し精製しながら、問題、方法、実験設計を生成する。我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
論文参考訳（メタデータ） (2024-04-11T13:36:29Z)
PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
論文参考訳（メタデータ） (2024-04-06T20:02:20Z)
Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
論文参考訳（メタデータ） (2024-03-11T21:51:39Z)
Machine Learning to Promote Translational Research: Predicting Patent and Clinical Trial Inclusion in Dementia Research [0.0]
認知症は、2040年までに英国で6100万人に影響を及ぼし、年間25億ポンドの費用がかかると予想されている。 1990～2023年の間に、イギリスの認知症研究出版物43,091件からDmensionsデータベースを用いてデータを抽出した。特許の予測では、受信者動作特性曲線(AUROC)の精度は0.84と77.17%であり、臨床試験の精度は0.81と75.11%である。
論文参考訳（メタデータ） (2024-01-10T13:25:49Z)
Susceptibility to Influence of Large Language Models [5.931099001882958]
2つの研究は、大きな言語モデル(LLM)が、影響力のある入力への暴露後の心理的変化をモデル化できるという仮説を検証した。最初の研究では、Illusory Truth Effect(ITE)という一般的な影響のモードがテストされた。第2の研究では、その説得力と政治的動員力を高めるために、ニュースの大衆的なフレーミングという、特定の影響の態勢について論じている。
論文参考訳（メタデータ） (2023-03-10T16:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。