論文の概要: Using Large Language Models to Create AI Personas for Replication, Generalization and Prediction of Media Effects: An Empirical Test of 133 Published Experimental Research Findings

• arxiv url: http://arxiv.org/abs/2408.16073v2
• Date: Thu, 24 Apr 2025 19:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:51.971468
• Title: Using Large Language Models to Create AI Personas for Replication, Generalization and Prediction of Media Effects: An Empirical Test of 133 Published Experimental Research Findings
• Title（参考訳）: 大規模言語モデルによるメディア効果の再現・一般化・予測のためのAIペルソナ作成--133個の実験実験結果の実証実験-
• Authors: Leo Yeykelis, Kaavya Pichai, James J. Cummings, Byron Reeves,
• Abstract要約: 本稿では,大規模言語モデル(LLM)が,マーケティングにおけるメッセージ効果に関する論文の正確な複製と一般化を高速化する可能性について分析する。 LLMはJournal of Marketingに掲載された45の最近の研究を含む14の論文から133の実験結果を複製して試験された。 LLMレプリケーションは、元のメインエフェクトの76%(111点中84点)の再現に成功した。
• 参考スコア（独自算出の注目度）: 0.3749861135832072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report analyzes the potential for large language models (LLMs) to expedite accurate replication and generalization of published research about message effects in marketing. LLM-powered participants (personas) were tested by replicating 133 experimental findings from 14 papers containing 45 recent studies published in the Journal of Marketing. For each study, the measures, stimuli, and sampling specifications were used to generate prompts for LLMs to act as unique personas. The AI personas, 19,447 in total across all of the studies, generated complete datasets and statistical analyses were then compared with the original human study results. The LLM replications successfully reproduced 76% of the original main effects (84 out of 111), demonstrating strong potential for AI-assisted replication. The overall replication rate including interaction effects was 68% (90 out of 133). Furthermore, a test of how human results generalized to different participant samples, media stimuli, and measures showed that replication results can change when tests go beyond the parameters of the original human studies. Implications are discussed for the replication and generalizability crises in social science, the acceleration of theory building in media and marketing psychology, and the practical advantages of rapid message testing for consumer products. Limitations of AI replications are addressed with respect to complex interaction effects, biases in AI models, and establishing benchmarks for AI metrics in marketing research.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)が,マーケティングにおけるメッセージ効果に関する論文の正確な複製と一般化を高速化する可能性について分析する。 LLMを用いた被験者(ペルソナ)は、Journal of Marketingに掲載された45の最近の研究を含む14の論文から133の実験結果を複製してテストした。 各研究において、LSMがユニークなペルソナとして振る舞うためのプロンプトを生成するために、測定、刺激、サンプリング仕様が用いられた。 全研究の合計で19,447人のAIペルソナが、完全なデータセットを生成し、統計分析を元の人間の研究結果と比較した。 LLMレプリケーションは、元のメインエフェクトの76%(111点中84点)の再現に成功した。 相互作用効果を含む全体の複製率は68% (133例中90例) であった。 さらに、被験者の異なるサンプル、メディア刺激、測定値にヒトの結果がどのように一般化されたかのテストでは、テストが元のヒト研究のパラメータを超えると、複製結果が変化することを示した。 社会科学における複製・一般化可能性の危機、メディア・マーケティング心理学における理論構築の加速、消費者製品における迅速なメッセージテストの実践的利点について論じる。 AIレプリケーションの制限は、複雑なインタラクション効果、AIモデルのバイアス、マーケティング研究におけるAIメトリクスのベンチマークの設定に関して対処される。

関連論文リスト

• ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
  大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。 我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。 学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-03-27T08:09:15Z)
• Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
  本研究では,ラベル付き類似実験を微調整した予測モデルを用いて,ラベル付き実結果を用いた対象実験の因果推論に焦点をあてる。 まず,経験的リスク最小化(ERM)による実結果推定は,対象個体群に対して有効な因果推論を導出できない可能性があることを示す。 本稿では,実証的リスク最小化法(DEM)を提案する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Generative Agent Simulations of 1,000 People [56.82159813294894]
  本稿では,1,052人の実人の態度と行動をシミュレートする新しいエージェントアーキテクチャを提案する。 生成エージェントは一般社会調査の参加者の回答を85%の精度で再現する。 我々のアーキテクチャは、人種的およびイデオロギー的グループにおける正確さのバイアスを、人口統計学的記述のエージェントと比較して低減する。
  論文  参考訳（メタデータ） (2024-11-15T11:14:34Z)
• CycleResearcher: Improving Automated Research via Automated Review [37.03497673861402]
  本稿では,オープンソースの後学習型大規模言語モデル(LLM)を,自動研究とレビューの全サイクルを遂行する自律エージェントとして活用する可能性について検討する。 これらのモデルをトレーニングするために、現実の機械学習研究とピアレビューダイナミクスを反映した2つの新しいデータセットを開発した。 その結果,CycleReviewerは平均絶対誤差(MAE)を26.89%削減して有望な性能を達成できた。
  論文  参考訳（メタデータ） (2024-10-28T08:10:21Z)
• Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance [95.03771007780976]
  我々は、人間の指示なしにタスクを予測および開始できるプロアクティブエージェントを開発するという課題に取り組む。 まず,実世界の人的活動を収集し,前向きなタスク予測を生成する。 これらの予測は、ヒトのアノテータによって受け入れられるか拒否されるかのどちらかとしてラベル付けされる。 ラベル付きデータは、人間の判断をシミュレートする報酬モデルをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2024-10-16T08:24:09Z)
• Can AI Replace Human Subjects? A Large-Scale Replication of Psychological Experiments with LLMs [1.5031024722977635]
  GPT-4は76.0パーセントの主効果と47.0パーセントの相互作用効果の再現に成功した。 GPT-4の再現された信頼区間は、元の効果の大きさを含み、ほとんどの再現された効果の大きさは、元の研究の95%の信頼区間を超える。 我々の研究は、心理学研究における強力なツールとしてのLLMの可能性を示しているが、AIによる知見の解釈には注意が必要であることも強調している。
  論文  参考訳（メタデータ） (2024-08-29T05:18:50Z)
• Simulating Field Experiments with Large Language Models [0.6144680854063939]
  本稿では,大規模言語モデル(LLM)のフィールド実験への応用を先導する。 観測者モードと参加者モードという2つの新しいプロンプト戦略を導入することで、複雑なフィールド設定において、結果の予測と参加者応答の再現の両方を行うLLMの能力を実証する。 以上の結果から,特定のシナリオにおいて実際の実験結果と良好な一致を示し,観察モードでは66%の刺激精度が得られた。
  論文  参考訳（メタデータ） (2024-08-19T03:41:43Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• Exploring the use of a Large Language Model for data extraction in systematic reviews: a rapid feasibility study [0.28318468414401093]
  本稿では,大規模言語モデル (LLM) である GPT-4 を用いて,体系的レビューにおけるデータ抽出(セミ)の実現可能性について述べる。 その結果,約80%の精度で,領域間での変動が認められた。
  論文  参考訳（メタデータ） (2024-05-23T11:24:23Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、大規模言語モデルによる研究アイデア作成エージェントである。 科学文献に基づいて繰り返し精製しながら、問題、方法、実験設計を生成する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
  PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。 我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
  論文  参考訳（メタデータ） (2024-04-06T20:02:20Z)
• Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews [51.453135368388686]
  本稿では,大規模言語モデル (LLM) によって実質的に修正あるいは生成される可能性のある大規模コーパスにおけるテキストの分数推定手法を提案する。 我々の最大可能性モデルは、専門家による参照テキストとAIによる参照テキストを利用して、コーパスレベルでの実世界のLLM使用を正確かつ効率的に検証する。
  論文  参考訳（メタデータ） (2024-03-11T21:51:39Z)
• Machine Learning to Promote Translational Research: Predicting Patent and Clinical Trial Inclusion in Dementia Research [0.0]
  認知症は、2040年までに英国で6100万人に影響を及ぼし、年間25億ポンドの費用がかかると予想されている。 1990～2023年の間に、イギリスの認知症研究出版物43,091件からDmensionsデータベースを用いてデータを抽出した。 特許の予測では、受信者動作特性曲線(AUROC)の精度は0.84と77.17%であり、臨床試験の精度は0.81と75.11%である。
  論文  参考訳（メタデータ） (2024-01-10T13:25:49Z)
• Susceptibility to Influence of Large Language Models [5.931099001882958]
  2つの研究は、大きな言語モデル(LLM)が、影響力のある入力への暴露後の心理的変化をモデル化できるという仮説を検証した。 最初の研究では、Illusory Truth Effect(ITE)という一般的な影響のモードがテストされた。 第2の研究では、その説得力と政治的動員力を高めるために、ニュースの大衆的なフレーミングという、特定の影響の態勢について論じている。
  論文  参考訳（メタデータ） (2023-03-10T16:53:30Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。