論文の概要: Evaluating the Realism of LLM-powered Social Agents: A Case Study of Reactions to Spanish Online News

• arxiv url: http://arxiv.org/abs/2605.28598v1
• Date: Wed, 27 May 2026 15:16:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.152086
• Title: Evaluating the Realism of LLM-powered Social Agents: A Case Study of Reactions to Spanish Online News
• Title（参考訳）: LLMを利用したソーシャルエージェントの現実性評価 : スペインのオンラインニュースに対する反応を事例として
• Authors: Alejandro Buitrago López, Alberto Ortega Pastor, Javier Pastor-Galindo, José A. Ruipérez-Valiente,
• Abstract要約: LLMが生み出すスペインのオンラインニュースに対する反応が、実聴者の会話の可測性を再現するかどうかを評価する。 オフザシェルフモデルは、実際の聴衆の反応には不十分なプロキシです。 可塑性合成反応は、必ずしも公開談話の分布特性を再現するとは限らない。
• 参考スコア（独自算出の注目度）: 41.06495284224409
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM-powered social agents are increasingly used to simulate online social behavior, yet their realism remains difficult to validate. Existing work has largely relied on general-purpose benchmarks, while less attention has been paid to short, reactive discourse such as audience replies to online news. In this paper, we evaluate whether LLM-generated reactions to Spanish online news reproduce measurable properties of real audience discourse. Using the Hatemedia dataset, we pair 5,631 news items with 58,555 real audience reactions, and generate a matched synthetic dataset using five LLMs under a shared experimental setting. We compare real and synthetic reactions across three dimensions: hate speech, sentiment, and semantic alignment, considering both off-the-shelf and fine-tuned generation. Results show that off-the-shelf models are poor proxies for real audience reactions: they strongly underproduce hate speech, introduce model-specific sentiment biases, and remain distributionally distant from human replies. Fine-tuning improves fidelity unevenly. Qwen3 provides the most balanced approximation, while Mistral7B achieves the strongest sentiment and semantic alignment but overshoots hate prevalence. Plausible synthetic replies do not necessarily reproduce the distributional properties of public discourse.
• Abstract（参考訳）: LLMを利用したソーシャルエージェントは、オンライン社会行動のシミュレートにますます利用されているが、現実主義の検証は困難である。 既存の作業は汎用ベンチマークに大きく依存しているが、オンラインニュースに対する聴衆の回答など、短いリアクティブな談話にはあまり注意が払われていない。 本稿では,LLMが生み出すスペインのオンラインニュースに対する反応が,実聴者の会話の可測性を再現するかどうかを評価する。 Hatemediaデータセットを用いて、5,631件のニュースアイテムと58,555件のリアルオーディエンス反応をペアリングし、5つのLLMを用いて一致した合成データセットを共有実験環境下で生成する。 我々は、ヘイトスピーチ、感情、セマンティックアライメントの3つの次元で、実際の反応と合成反応を比較した。 その結果、市販のモデルは、ヘイトスピーチを強く過小評価し、モデル固有の感情バイアスを導入し、人間の反応から分散的に遠ざかっている。 微調整は忠実さを不均一に改善する。 Qwen3は最もバランスの取れた近似を提供し、Mistral7Bは最強の感情とセマンティックアライメントを達成するが、オーバーシュートは有病率を嫌う。 可塑性合成反応は、必ずしも公開談話の分布特性を再現するとは限らない。

関連論文リスト

• Social Simulations with Large Language Model Risk Utopian Illusion [61.358959720048354]
  社会シミュレーションにおける大規模言語モデルの行動分析のための体系的枠組みを提案する。 本手法は,チャットルーム型会話を通してマルチエージェントインタラクションをシミュレートし,5つの言語的側面にわたって解析する。 以上の結果から,LSMは真の人間の行動を忠実に再現するのではなく,過度に理想化されたバージョンを反映していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-24T06:08:41Z)
• Generative Exaggeration in LLM Social Agents: Consistency, Bias, and Toxicity [2.3997896447030653]
  ソーシャルメディア上での政治談話のシミュレーションにおいて,Large Language Models (LLM) がどのように振る舞うかを検討する。 我々は、実ユーザ1,186名に基づくLCMエージェントを構築し、制御された条件下で政治的に健全なツイートに返信するよう促す。 よりリッチな文脈化によって内部の一貫性が向上するだけでなく、分極、スタイリングされた信号、有害な言語も増幅される。
  論文  参考訳（メタデータ） (2025-07-01T10:54:51Z)
• SCRAG: Social Computing-Based Retrieval Augmented Generation for Community Response Forecasting in Social Media Environments [8.743208265682014]
  SCRAGは、ソーシャルコンピューティングにインスパイアされた予測フレームワークである。 リアルまたは仮説的なソーシャルメディア投稿に対するコミュニティの反応を予測する。 公開関係の専門家が意図しない誤解を避ける方法でメッセージを作成するために使用することができる。
  論文  参考訳（メタデータ） (2025-04-18T15:02:31Z)
• Can LLMs Simulate Social Media Engagement? A Study on Action-Guided Response Generation [51.44040615856536]
  本稿では、行動誘導応答生成によるソーシャルメディアのエンゲージメントをシミュレートする大規模言語モデルの能力について分析する。 GPT-4o-mini,O1-mini,DeepSeek-R1をソーシャルメディアエンゲージメントシミュレーションで評価した。
  論文  参考訳（メタデータ） (2025-02-17T17:43:08Z)
• A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。