論文の概要: Personalized Prediction of Perceived Message Effectiveness Using Large Language Model Based Digital Twins
- arxiv url: http://arxiv.org/abs/2602.19403v1
- Date: Mon, 23 Feb 2026 00:32:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.625735
- Title: Personalized Prediction of Perceived Message Effectiveness Using Large Language Model Based Digital Twins
- Title(参考訳): 大規模言語モデルに基づくディジタル双生児を用いた知覚メッセージの有効性の個人化予測
- Authors: Jasmin Han, Janardan Devkota, Joseph Waring, Amanda Luken, Felix Naughton, Roger Vilardaga, Jonathan Bricker, Carl Latkin, Meghan Moran, Yiqun Chen, Johannes Thrul,
- Abstract要約: パーソナライズされた禁煙介入メッセージの選択と最適化には,潜在的介入者によるメッセージの有効性(PME)が重要である。
本研究では,大言語モデル(LLM)が喫煙停止メッセージのPMEを正確に予測できるかどうかを評価する。
- 参考スコア(独自算出の注目度): 0.41366886902569927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Perceived message effectiveness (PME) by potential intervention end-users is important for selecting and optimizing personalized smoking cessation intervention messages for mobile health (mHealth) platform delivery. This study evaluates whether large language models (LLMs) can accurately predict PME for smoking cessation messages. We evaluated multiple models for predicting PME across three domains: content quality, coping support, and quitting support. The dataset comprised 3010 message ratings (5-point Likert scale) from 301 young adult smokers. We compared (1) supervised learning models trained on labeled data, (2) zero and few-shot LLMs prompted without task-specific fine-tuning, and (3) LLM-based digital twins that incorporate individual characteristics and prior PME histories to generate personalized predictions. Model performance was assessed on three held-out messages per participant using accuracy, Cohen's kappa, and F1. LLM-based digital twins outperformed zero and few-shot LLMs (12 percentage points on average) and supervised baselines (13 percentage points), achieving accuracies of 0.49 (content), 0.45 (coping), and 0.49 (quitting), with directional accuracies of 0.75, 0.66, and 0.70 on a simplified 3-point scale. Digital twin predictions showed greater dispersion across rating categories, indicating improved sensitivity to individual differences. Integrating personal profiles with LLMs captures person-specific differences in PME and outperforms supervised and zero and few-shot approaches. Improved PME prediction may enable more tailored intervention content in mHealth. LLM-based digital twins show potential for supporting personalization of mobile smoking cessation and other health behavior change interventions.
- Abstract(参考訳): モバイルヘルス(mHealth)プラットフォーム提供のためのパーソナライズされた禁煙介入メッセージの選択と最適化には,潜在的介入者によるメッセージの有効性(PME)が重要である。
本研究では,大言語モデル(LLM)が喫煙停止メッセージのPMEを正確に予測できるかどうかを評価する。
コンテンツ品質,対処支援,中止支援という3つの領域でPMEを予測する複数のモデルを評価した。
このデータセットは、301人の成人喫煙者から3010のメッセージレーティング(5ポイントいいね!
1)ラベル付きデータに基づいて訓練された教師付き学習モデル,(2)タスク固有の微調整を伴わずに誘導されるゼロと少数ショットのLLM,(3)個人特性と事前のPME履歴を取り入れたLCMベースのデジタルツインを比較し,パーソナライズされた予測を生成する。
モデル性能は,Chen's kappa,F1の3つのホールトアウトメッセージに対して,精度を用いて評価した。
LLMベースのデジタルツインは、ゼロと少数ショットのLDM(平均12ポイント)と教師付きベースライン(13ポイント)を上回り、簡易な3点スケールで0.49(コンテンツ)、0.45(コード)、0.49(クイット)を達成した。
デジタルツイン予測では、評価カテゴリー間で大きなばらつきを示し、個人差に対する感度が向上した。
個人プロファイルとLLMを統合することで、個人固有のPMEの違いを捉え、教師付きアプローチやゼロ、少数ショットアプローチよりも優れる。
改善されたPME予測は、mHealthのより適切な介入内容を可能にする可能性がある。
LLMベースのデジタルツインは、モバイル喫煙停止やその他の健康行動変化介入のパーソナライズを支援する可能性がある。
関連論文リスト
- Counterfactual Modeling with Fine-Tuned LLMs for Health Intervention Design and Sensor Data Augmentation [2.6532805035238742]
対実的説明(CFE)は、機械学習モデルの予測を変更するのに必要な最小限の実行可能な変更を特定することによって、人間中心の解釈可能性を提供する。
大規模言語モデル(LLM)を用いたCF生成の包括的評価を行う。
我々は、介入品質、特徴多様性、強化効果の3次元にわたるCFを評価した。
論文 参考訳(メタデータ) (2026-01-21T02:04:08Z) - The Wisdom of Deliberating AI Crowds: Does Deliberation Improve LLM-Based Forecasting? [0.0]
本研究は,LLMが相互に予測をレビューできるようになれば,大規模言語モデルの精度が向上するかどうかを考察する。
Metaculus Q2 2025 AI Forecasting Tournamentから202の解決されたバイナリ質問を使用して、精度を4つのシナリオで評価した。
論文 参考訳(メタデータ) (2025-12-27T15:45:21Z) - The Forecast Critic: Leveraging Large Language Models for Poor Forecast Identification [74.64864354503204]
本稿では,Large Language Models (LLM) を利用した予測自動監視システムであるThe Forecast Criticを提案する。
LLMの時系列予測品質を評価する能力を評価する。
合成および実世界の予測データを含む3つの実験を行った。
論文 参考訳(メタデータ) (2025-12-12T21:59:53Z) - Signal or Noise? Evaluating Large Language Models in Resume Screening Across Contextual Variations and Human Expert Benchmarks [0.0]
本研究では,大規模言語モデル(LLM)がジョブ記述に対するスクリーニングを再開した場合に,一貫した動作(手話)やランダムな変動(雑音)を示すか否かを検討する。
論文 参考訳(メタデータ) (2025-07-08T01:34:21Z) - PiCME: Pipeline for Contrastive Modality Evaluation and Encoding in the MIMIC Dataset [16.263862005367667]
マルチモーダル深層学習は、多様な患者データを統合することで臨床予測を改善することを約束する。
対照的な学習は、タスク間で再利用可能な統一表現を生成することによって、この統合を促進する。
PiCMEはMIMICのすべてのモダリティの組み合わせでコントラスト学習をスケールした最初の企業である。
論文 参考訳(メタデータ) (2025-07-03T20:45:37Z) - Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models [7.61977883644433]
データ品質を評価するために,専門性,可読性,推論,清潔さの4つの側面を提案する。
学習した最適重み付けにより,これらの次元を既存の品質指標と統合する多次元データ選択手法であるMeta-raterを紹介する。
実験により、Meta-raterは1.3Bパラメータモデルの収束速度を2倍にし、下流タスク性能を3.23倍に改善し、7.2Bパラメータのモデルにスケールする利点がある。
論文 参考訳(メタデータ) (2025-04-19T06:12:33Z) - Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。
FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
論文 参考訳(メタデータ) (2024-10-11T04:57:48Z) - On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。
分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。
十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
論文 参考訳(メタデータ) (2023-12-12T16:17:15Z) - GraphCare: Enhancing Healthcare Predictions with Personalized Knowledge
Graphs [44.897533778944094]
textscGraphCareは、外部知識グラフを使用してEHRベースの予測を改善するオープンワールドフレームワークである。
本手法は,患者固有のKGを構築するために,大規模言語モデル(LLM)と外部生物医学的KGから知識を抽出する。
textscGraphCareは、4つの重要な医療予測タスクのベースラインを超えている。
論文 参考訳(メタデータ) (2023-05-22T07:35:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。