Fugu-MT 論文翻訳(概要): Finetuning LLMs for Human Behavior Prediction in Social Science Experiments

論文の概要: Finetuning LLMs for Human Behavior Prediction in Social Science Experiments

arxiv url: http://arxiv.org/abs/2509.05830v1
Date: Sat, 06 Sep 2025 20:52:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-09 14:07:03.733144
Title: Finetuning LLMs for Human Behavior Prediction in Social Science Experiments
Title（参考訳）: 社会科学実験における人間の行動予測のための微調整LDM
Authors: Akaash Kolluri, Shengguang Wu, Joon Sung Park, Michael S. Bernstein,
Abstract要約: 過去の実験から個々のレベルの反応に直接、大きな言語モデル(LLM)を微調整することは、その精度を有意義に向上させる。 SocSci210は210の社会科学実験で400,491人の参加者から290万の回答を得たデータセットである。我々の最強のモデルであるSocrates-Qwen-14Bは、多様な結果問題に対する人間の反応の分布に一致した26%の予測を生成する。
参考スコア（独自算出の注目度）: 9.470846958372974
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) offer a powerful opportunity to simulate the results of social science experiments. In this work, we demonstrate that finetuning LLMs directly on individual-level responses from past experiments meaningfully improves the accuracy of such simulations across diverse social science domains. We construct SocSci210 via an automatic pipeline, a dataset comprising 2.9 million responses from 400,491 participants in 210 open-source social science experiments. Through finetuning, we achieve multiple levels of generalization. In completely unseen studies, our strongest model, Socrates-Qwen-14B, produces predictions that are 26% more aligned with distributions of human responses to diverse outcome questions under varying conditions relative to its base model (Qwen2.5-14B), outperforming GPT-4o by 13%. By finetuning on a subset of conditions in a study, generalization to new unseen conditions is particularly robust, improving by 71%. Since SocSci210 contains rich demographic information, we reduce demographic parity, a measure of bias, by 10.6% through finetuning. Because social sciences routinely generate rich, topic-specific datasets, our findings indicate that finetuning on such data could enable more accurate simulations for experimental hypothesis screening. We release our data, models and finetuning code at stanfordhci.github.io/socrates.
Abstract（参考訳）: 大規模言語モデル(LLM)は、社会科学実験の結果をシミュレートする強力な機会を提供する。本研究では,過去の実験から個人レベルの反応を直接微調整することで,様々な社会科学領域におけるシミュレーションの精度が向上することが実証された。 SocSci210は210のオープンソース社会科学実験で400,491人の参加者から290万の回答を得たデータセットである。微調整により、様々なレベルの一般化が達成される。我々の最強のモデルであるSocrates-Qwen-14Bは、ベースモデル(Qwen2.5-14B)と比較して異なる条件下での多様な結果問題に対する人間の反応の分布に一致した26%の予測を生成し、GPT-4oを13%上回った。研究における条件のサブセットを微調整することで、新しい目に見えない条件への一般化は特に堅牢になり、71%改善した。 SocSci210は人口統計情報を豊富に含んでいるので、偏見の尺度である人口統計のパリティを微調整によって10.6%削減する。社会科学は、多種多様なトピック固有のデータセットを日常的に生成するので、そのようなデータを微調整することで、実験的な仮説スクリーニングのためのより正確なシミュレーションが可能になることが示唆された。我々はstanfordhci.github.io/socratesでデータ、モデル、微調整コードをリリースします。

関連論文リスト

SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
論文参考訳（メタデータ） (2025-10-20T13:14:38Z)
SocioBench: Modeling Human Behavior in Sociological Surveys with Large Language Models [32.66051406264919]
大規模言語モデル(LLM)は、人間の社会的行動や相互作用をシミュレートする強力な可能性を示すが、実際の社会的態度との整合性を評価するための大規模で体系的なベンチマークは欠如している。国際社会調査プログラム(ISSP)の年次収集標準化調査データから得られた総合的なベンチマークであるSocioBenchを紹介する。このベンチマークは、30カ国以上から480,000件以上の実応答記録を収集し、10の社会学的ドメインと40以上の人口統計特性にまたがっている。
論文参考訳（メタデータ） (2025-10-13T08:22:20Z)
Population-Aligned Persona Generation for LLM-based Social Simulation [58.84363795421489]
本稿では,社会シミュレーションのための高品質な集団対応ペルソナ集合を合成するための体系的枠組みを提案する。我々のアプローチは、長期のソーシャルメディアデータから物語的ペルソナを生成するために、大きな言語モデルを活用することから始まる。特定のシミュレーションコンテキストのニーズに対処するために,対象のサブポピュレーションに対してグローバルに整合したペルソナを適応させるタスク固有モジュールを提案する。
論文参考訳（メタデータ） (2025-09-12T10:43:47Z)
Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
論文参考訳（メタデータ） (2025-05-26T16:05:10Z)
Twin-2K-500: A dataset for building digital twins of over 2,000 people based on their answers to over 500 questions [11.751234495886674]
LLMベースのデジタルツインシミュレーションは、AI、社会科学、デジタル実験の研究に大いに貢献する。我々は、米国におけるN = 2,058$参加者(平均2.42時間)の代表サンプルを、合計500の質問を含む4つの波で調査した。最初の分析では、データは高品質であることが示唆され、個人と集合レベルでの人間の振る舞いを良く予測するデジタルツインの構築が約束されている。
論文参考訳（メタデータ） (2025-05-23T05:05:11Z)
Predicting Field Experiments with Large Language Models [0.6144680854063939]
フィールド実験の結果を予測するための自動LLMベースのフレームワークを提案し,評価する。結果の分布はバイモーダルか高度に歪んでいるかのどちらかであることが判明した。この異常を更に調査することで、複雑な社会問題に関連するフィールド実験が予測性能に重大な課題をもたらすことが判明した。
論文参考訳（メタデータ） (2025-04-01T20:14:35Z)
Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction [5.774786149181393]
大規模言語モデル(LLM)における人口統計特性と即時変動が潜在世論マッピングに与える影響を解析する。 LLMが生成したデータは、実世界の人間の反応で観測された分散を再現できないことがわかった。政治分野では、ペルソナ・ツー・パーティのマッピングは限定的な分化を示しており、結果として、調査データに見られる意見の微妙な分布に欠ける合成データとなる。
論文参考訳（メタデータ） (2025-02-22T16:25:33Z)
Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
論文参考訳（メタデータ） (2025-02-10T21:59:27Z)
Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
予測型因果推論(PPCI)に焦点をあてる PPCIは、未ラベルの事実結果を用いた対象実験における治療効果を推定し、事前訓練されたモデルからゼロショットを取得する。バニラ実験的リスク最小化によって解決不可能なインスタンスに対するソリューションを提供するため,本手法を合成および実世界の科学的データに対して検証する。
論文参考訳（メタデータ） (2025-02-10T10:52:17Z)
LIMO: Less is More for Reasoning [23.312893016642096]
数例の例で、洗練された数学的推論が実現可能であることを実証する。 LIMOはAIME24では63.3%,MATH500では95.6%の精度を実現している。 LIMOは、様々なベンチマークで45.8%の絶対的な改善を実現している。
論文参考訳（メタデータ） (2025-02-05T17:23:45Z)
ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文参考訳（メタデータ） (2023-04-07T23:51:07Z)
Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
論文参考訳（メタデータ） (2020-07-12T15:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。