論文の概要: Will Scaling Improve Social Simulation with LLMs?

• arxiv url: http://arxiv.org/abs/2607.02464v1
• Date: Thu, 02 Jul 2026 17:30:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.944257
• Title: Will Scaling Improve Social Simulation with LLMs?
• Title（参考訳）: スケーリングはLLMで社会シミュレーションを改善するか?
• Abstract要約: 大規模言語モデル(LLM)の社会シミュレーションは有望な研究手法であるが,広く採用されるほど忠実ではない。 スケーリング法則を用いて, LLMの計算規模, 一般能力ベンチマーク, 社会シミュレーションの忠実度との関係について検討する。
• 参考スコア（独自算出の注目度）: 87.15677770205751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) social simulations are a promising research method, but they are not yet faithful enough to be adopted widely. In this work, we investigate whether the current scaling paradigm in language modeling is likely to close these gaps, or whether simulation fidelity is orthogonal to general capabilities and therefore deserving of more research attention. We use scaling laws to study the relationship between LLMs' compute scale, general capability benchmarks, and the fidelity of social simulation in three representative sub-domains: opinion modeling, behavioral simulation, and longitudinal forecasting. Surprisingly, we discover strong compute scaling in all three settings, using a suite of 85 transformer LLMs with the Qwen3 architecture pre-trained on the DCLM web text corpus under fixed-compute budgets from $10^{18}$ to $10^{20}$ FLOPs. Then we evaluate 35 larger and more capable open-weight models up to 70B parameters, allowing us to predict downstream accuracy from loss. This reveals that the majority of behavioral and opinion simulation tasks will rapidly improve with scale, particularly when they involve populations that are well-represented in English web corpora. Longitudinal forecasting and underrepresented opinions scale more slowly, especially when they are less correlated with general knowledge and reasoning benchmarks like MMLU. In behavior simulation, scaling fails to improve model calibration with human cognitive biases like risk aversion, as well as human heuristics like learning correlated rewards from related tasks. On these tasks, even fine-tuned models fail to noticeably scale up performance from 0.5B to 8B parameters. Taken together, we conclude that scale will improve social simulations in most settings, but outliers exist, and improvements will be less reliable in low-resource domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)の社会シミュレーションは有望な研究手法であるが,広く採用されるほど忠実ではない。 本研究では,言語モデリングにおける現在のスケーリングパラダイムが,これらのギャップを埋める可能性が高いか,あるいはシミュレーションの忠実度が一般的な機能に直交するかどうかを考察し,より多くの研究の注意を払っている。 我々は,LLMの計算スケール,一般能力ベンチマーク,および3つの代表的なサブドメイン(意見モデリング,行動シミュレーション,縦断予測)における社会シミュレーションの忠実度との関係について,スケーリング法則を用いて検討する。 驚いたことに、我々は3つの設定で強力な計算スケーリングを発見し、Qwen3アーキテクチャと85のトランスフォーマーLLMの組をDCLMのWebテキストコーパスで事前訓練し、固定計算予算を10〜18ドルから10〜20ドルに設定した。 そして、最大70Bパラメータまでのより大きな35個のオープンウェイトモデルを評価し、損失から下流の精度を予測する。 これは、行動と意見のシミュレーションタスクの大多数が、特にイングランドのウェブコーパスでよく表現されている集団を巻き込んだ場合、スケールで急速に改善することを示している。 特に、MMLUのような一般的な知識や推論のベンチマークと相関が低い場合には、縦方向の予測と下向きの意見はよりゆっくりとスケールする。 行動シミュレーションでは、スケーリングはリスク回避のような人間の認知バイアスによるモデルのキャリブレーションの改善に失敗する。 これらのタスクでは、微調整されたモデルでさえ、0.5Bから8Bパラメータのパフォーマンスを著しくスケールアップすることができない。 まとめると、ほとんどの設定ではスケールは社会シミュレーションを改善するが、アウトレーヤは存在し、低リソース領域では信頼性が低下すると結論付けている。

関連論文リスト

• LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
  拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。 我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。 23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
  論文  参考訳（メタデータ） (2026-08-04T10:53:02Z)
• OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
  大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。 しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。 OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
  論文  参考訳（メタデータ） (2026-06-12T07:31:55Z)
• Rethinking LLM Human Simulation: When a Graph is What You Need [8.616656201091319]
  大規模言語モデル(LLM)は、調査予測から意思決定に至るまで、人間をシミュレートするためにますます使われている。 個別の選択肢の中から個人が選択するシミュレーション問題のクラスを特定する。 本稿では、グラフ上のリンク予測問題として、個別選択シミュレーションタスクをキャストする、人体シミュレーションのためのGraph-basEd Models(GEMS)を紹介する。
  論文  参考訳（メタデータ） (2025-11-03T23:54:24Z)
• Relative Scaling Laws for LLMs [91.73497548097775]
  スケーリング法則は、追加のデータ、パラメータ、計算によって言語モデルがどのように改善されるかを記述する。 相対的なスケーリング法則を導入し、テスト分布間のパフォーマンスギャップをスケールで追跡する。 これらの結果は、スケーリングは全体的なパフォーマンスを改善するが、普遍的等化器ではないことを示している。
  論文  参考訳（メタデータ） (2025-10-28T16:55:22Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• GenSim: A General Social Simulation Platform with Large Language Model based Agents [111.00666003559324]
  我々はtextitGenSim と呼ばれる新しい大規模言語モデル (LLM) ベースのシミュレーションプラットフォームを提案する。 我々のプラットフォームは10万のエージェントをサポートし、現実世界のコンテキストで大規模人口をシミュレートする。 我々の知る限り、GenSimは汎用的で大規模で修正可能な社会シミュレーションプラットフォームに向けた最初の一歩である。
  論文  参考訳（メタデータ） (2024-10-06T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。