論文の概要: Knowing You Is Everything: LLM Agents Achieve Near-Perfect Profile-Consistent Reaction Prediction in Social Media Simulation

• arxiv url: http://arxiv.org/abs/2608.07498v1
• Date: Fri, 19 Jun 2026 08:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.167385
• Title: Knowing You Is Everything: LLM Agents Achieve Near-Perfect Profile-Consistent Reaction Prediction in Social Media Simulation
• Title（参考訳）: すべてを知っている: LLMエージェントはソーシャルメディアシミュレーションにおけるほぼ完全なプロファイル-持続的反応予測を実現する
• Abstract要約: ペルソナをプロンプトしたLLMは、それぞれのアプリケーションをサポートするのに十分な精度で、個々のレベルのソーシャルメディア反応をシミュレートすることができる。 本研究は,296件のサーベイベースエージェントプロファイルと26件の地中トルースマップされたポストを対象に,12件のLLM構成をバイナリライク/非類似予測でベンチマークした。 大規模合成剤が世論に信用できる脅威となる行動精度を文書化しながら, 推薦システムストレステストのためのLCMシミュレーションの有効性を検証した。
• 参考スコア（独自算出の注目度）: 3.8004485764371942
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Autonomous AI agents in social media present concrete risks to democratic discourse and platform governance, while also offering tools for pre-deployment recommender system testing. A central open question is whether persona-prompted LLMs can simulate individual-level social media reactions with sufficient accuracy to support either application, and how accuracy depends on profile completeness, model selection, and the generalization challenge posed by novel post content. This study benchmarks twelve LLM configurations on binary like/dislike prediction across 296 survey-based agent profiles and 26 ground-truth-mapped posts under three profile conditions, with leave-post-out machine learning classifiers as baselines. Across full-profile conditions, accuracy ranges from 75.54% to 96.68%, with a 30-point spread attributable primarily to model selection and confirmed by paired McNemar tests with agent-level bootstrap intervals. GPT-5.5 Pro accuracy degrades monotonically from 96.68% under a full profile to 62.32% under a reduced profile and to 51.00% with demographics alone, the last indistinguishable from the majority-class baseline, which confirms that demographic inference provides negligible predictive signal. Supervised classifiers collapse to 15.4% under leave-post-out, while LLMs sustain genuine zero-shot generalization unavailable to trained methods. Adaptive reasoning improves accuracy substantially for some models. Inter-model agreement is nearly double for posts with direct profile anchors (mean \k{appa} = 0.44) than for posts without them (\k{appa} = 0.23), and the least heterogeneous configuration homogenizes 34% of simulated population reactions. Results validate LLM-based simulation for recommender system stress-testing while documenting the behavioral accuracy that makes large-scale synthetic agent swarms a credible threat to public opinion.
• Abstract（参考訳）: ソーシャルメディアの自律型AIエージェントは、民主的談話とプラットフォームガバナンスへの具体的なリスクを示し、また、事前デプロイ推奨システムテストのためのツールを提供する。 中心的なオープンな疑問は、パーソナプロンプトLLMが、どちらのアプリケーションもサポートするのに十分な精度で、個々のレベルのソーシャルメディア反応をシミュレートできるかどうか、新しいポストコンテンツによって引き起こされるプロファイル完全性、モデル選択、一般化課題にどの程度の精度が依存するかである。 本研究では,296件のサーベイベースエージェントプロファイルと26件の地中トルースマップされたポストを対象に,12件のLLM構成をベンチマークし,機械学習分類器をベースラインとした。 完全条件全体では、精度は75.54%から96.68%の範囲で、30点のスプレッドは主にモデル選択に起因し、エージェントレベルのブートストラップ間隔を持つMcNemarテストによって確認される。 GPT-5.5 Proの精度は単調に96.68%から62.32%に低下し、人口統計だけでは51.00%に低下する。 改良された分類器は離脱後の15.4%に崩壊し、LSMは訓練された方法では利用できない真のゼロショットの一般化を維持している。 適応推論は、いくつかのモデルの精度を大幅に向上させる。 モデル間合意は、直接プロファイルアンカーを持つポスト(平均はk{appa} = 0.44)に対して、それらを持たないポスト(\k{appa} = 0.23)に対してほぼ二重であり、最も不均一な構成はシミュレーションされた集団反応の34%を均質化する。 大規模合成剤が世論に信用できる脅威となる行動精度を文書化しながら, 推薦システムストレステストのためのLCMシミュレーションの有効性を検証した。

関連論文リスト

• ConfidenceBench: Evaluating Confidence Calibration in Large Language Models [14.831793255747181]
  ConfidenceBenchは、大規模言語モデルのキャリブレーションベンチマークである。 15のフロンティア大言語モデルにおいて、言語化された信頼度の評価を行う。 信頼性はプロンプトを通じて引き起こされ、モデルロジットへのアクセスは不要である。
  論文  参考訳（メタデータ） (2026-07-10T01:56:30Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
  予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。 既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。 マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-05-29T03:44:19Z)
• Can Multi-Agent LLMs Identify Their Peers? Stylometric Fingerprinting in Role-Constrained Political Analysis [0.0]
  政治的ステートメント分析のための多エージェント大言語モデル(LLM)パイプラインは、ピア保存に対して脆弱である。 本稿では,LLMが匿名化条件下での政治分析テキストの背後にあるモデルファミリを識別できるかどうかを,初めて体系的に調査する。
  論文  参考訳（メタデータ） (2026-05-20T04:56:42Z)
• Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models [86.8650252164764]
  大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。 本研究では,LLMへのコンフォメーションスコア変換法を拡張する適応型コンフォメーション予測手法を提案する。 これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。
  論文  参考訳（メタデータ） (2026-04-15T15:35:42Z)
• LLM Agents Predict Social Media Reactions but Do Not Outperform Text Classifiers: Benchmarking Simulation Accuracy Using 120K+ Personas of 1511 Humans [36.156330303795016]
  この研究では、12万以上のエージェントとペルソナの組み合わせに対して、人のソーシャルメディア反応(嫌い、コメント、共有、反応なし)を予測する精度をベンチマークします。 エージェントは70.7%の精度を達成し、LSMの選択は13ポイントのパフォーマンスを拡大した。 ゼロショットのペルソナプロンプトエージェントの真の予測正当性は、行動的に異なるAIエージェントの群れをソーシャルメディアに簡単に展開することで潜在的な操作を警告する。
  論文  参考訳（メタデータ） (2026-03-31T19:27:59Z)
• Budget-Sensitive Discovery Scoring: A Formally Verified Framework for Evaluating AI-Guided Scientific Selection [0.0]
  Budget-Sensitive Discovery Score (BSDS)は、各予算レベルで誤った発見を罰する。 Discovery Quality Score (DQS)は、チェリーピックされた予算でうまく機能することで、プロジェクタがインフレできないような、単一のサマリー統計を提供する。 フレームワークは、候補が予算制約と非対称なエラーコストの下で選択される任意の設定に適用されます。
  論文  参考訳（メタデータ） (2026-03-12T18:09:53Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。