論文の概要: Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation

• arxiv url: http://arxiv.org/abs/2608.03044v1
• Date: Tue, 04 Aug 2026 02:51:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.001187
• Title: Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation
• Title（参考訳）: エミュレートか推定か?オピニオンシミュレーションのためのベースおよびポストトレーニング言語モデルの分岐強度
• Abstract要約: 人間の調査データと有望な一致を示す研究もある一方で、ペルソナの崩壊と人口統計感度の低下を示す研究もある。 最初のタスクエミュレーションと呼ばれ、モデルが集団分布に集約する個々の応答を生成する。 2つ目のタスク推定と呼ばれ、モデルが直接人口分布を予測する。
• 参考スコア（独自算出の注目度）: 7.947622351777421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used to simulate human opinions, but prior work reports conflicting results: some studies find promising alignment with human survey data, while others find persona collapse and weak demographic sensitivity. We show that much of this conflict stems from conflating two distinct tasks. We call the first task emulation, in which models generate individual responses that aggregate into a population distribution. We call the second task estimation, in which models directly predict the population distribution. Evaluating six matched base and post-trained models on the Pew American Trends Panel, we find that base models are stronger emulators: they produce response distributions closer to human ground truth and better preserve demographic structure. Post-trained models are stronger estimators, producing more accurate distributional predictions when asked directly. We propose that model selection for human simulation should be guided by whether the task requires generating text or predicting distributions.
• Abstract（参考訳）: 大規模な言語モデルは、人間の意見をシミュレートするために使われることが多いが、以前の研究報告では、人間の調査データと有望な一致を見出す研究もある。 この対立の多くは、2つの異なるタスクが混ざり合っていることに起因している。 最初のタスクエミュレーションと呼ばれ、モデルが集団分布に集約する個々の応答を生成する。 2つ目のタスク推定と呼ばれ、モデルが直接人口分布を予測する。 Pew American Trends Panelの6つの一致したベースモデルとポストトレーニングされたモデルを評価すると、ベースモデルはより強力なエミュレータであることがわかった。 訓練後のモデルはより強力な推定器であり、直接質問するとより正確な分布予測をもたらす。 そこで本研究では,人体シミュレーションのためのモデル選択を,タスクがテキストを生成するか,あるいは分布を予測するかによって導くべきである。

関連論文リスト

• OdysSim: Building Foundation Models for Human Behavior Simulation [70.35265860287608]
  大規模言語モデルは、対話的評価と社会シミュレーションのための人間のシミュレータとして、ますます多くデプロイされている。 しかし、有益性駆動のポストトレーニングは、それらを同質で過度に同意できるアシスタントレジスタへと引き寄せる。 OdysSimは行動基礎モデルに関する最大のオープン・システマティック・リサーチである。
  論文  参考訳（メタデータ） (2026-06-12T07:31:55Z)
• Shape of Thought: When Distribution Matters More than Correctness in Reasoning Tasks [24.55929874173401]
  より有能なモデルからの連鎖トレースのデータセットをトレーニングすることで、言語モデルの推論能力を向上させることができることを示す。 実験により、このアプローチは人間の注釈付きデータセットのトレーニングよりも推論タスクのパフォーマンスが向上することが示された。
  論文  参考訳（メタデータ） (2025-12-24T07:35:55Z)
• Specializing Large Language Models to Simulate Survey Response Distributions for Global Populations [49.908708778200115]
  我々は,調査応答分布をシミュレートする大規模言語モデル (LLM) を最初に開発した。 テストベッドとして、我々は2つの世界文化調査の国レベルの結果を使用します。 予測された応答分布と実際の応答分布のばらつきを最小限に抑えるために, ファースト・ツーケン確率に基づく微調整法を提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:59:27Z)
• Evaluation of Large Language Models via Coupled Token Generation [19.187846871216568]
  最先端の大規模言語モデルは、プロンプトに対応するためにランダム化に依存している。 大規模言語モデルの評価とランク付けは,それらの機能を支えるランダム化を制御すべきである,と我々は主張する。
  論文  参考訳（メタデータ） (2025-02-03T19:01:17Z)
• Using LLMs to Model the Beliefs and Preferences of Targeted Populations [4.0849074543032105]
  本研究では,人間の嗜好をモデル化する大規模言語モデル (LLM) の整合性について考察する。 特定の集団の信念、好み、行動のモデル化は、様々な応用に有用である。
  論文  参考訳（メタデータ） (2024-03-29T15:58:46Z)
• Random Silicon Sampling: Simulating Human Sub-Population Opinion Using a Large Language Model Based on Group-Level Demographic Information [15.435605802794408]
  大規模言語モデルは、人口統計情報に関連する社会的バイアスを示す。 人口サブグループの意見をエミュレートする「ランダムシリコンサンプリング」を提案する。 言語モデルは、実際のアメリカの世論調査と非常によく似た応答分布を生成できる。
  論文  参考訳（メタデータ） (2024-02-28T08:09:14Z)
• Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
  人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-11T18:17:43Z)
• Questioning the Survey Responses of Large Language Models [25.14481433176348]
  我々は,米国国勢調査局が確立したアメリカン・コミュニティ・サーベイに基づいて,この方法論を批判的に検討する。 まず、モデルの応答は、例えば"A"という文字でラベル付けされた調査応答に対するバイアスの順序付けとラベル付けによって制御される。 第二に、ランダム化された回答順序付けによってこれらの体系的バイアスを調整するとき、ボード全体のモデルが一様ランダムなアンケート応答に向かう傾向にある。
  論文  参考訳（メタデータ） (2023-06-13T17:48:27Z)
• How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
  事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。 本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
  論文  参考訳（メタデータ） (2023-06-01T04:52:26Z)
• Transformer-Based Language Model Surprisal Predicts Human Reading Times Best with About Two Billion Training Tokens [17.80735287413141]
  本研究では,トランスフォーマーをベースとした言語モデル変種から,人間の読解時間を予測する能力に基づいて推定した推定値について検討した。 その結果、現代のモデル能力を持つほとんどの変種からの推定は、約20億のトレーニングトークンを見た後、最も適していることがわかった。 新たに訓練されたより小さなモデル変種は収束時に「転換点」を示し、その後言語モデルの難易度が低下し始め、人間の読解時間に適合する。
  論文  参考訳（メタデータ） (2023-04-22T12:50:49Z)
• Dialogue Response Ranking Training with Large-Scale Human Feedback Data [52.12342165926226]
  ソーシャルメディアのフィードバックデータを利用して、フィードバック予測のための大規模なトレーニングデータセットを構築します。 我々は,1300万対の人間のフィードバックデータに基づくGPT-2モデルであるDialogRPTを訓練した。 我々のランキングは、Redditのフィードバックを予測する上で、従来のダイアログの難易度ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-15T10:50:05Z)
• Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction [49.254162397086006]
  画像に基づく年齢予測課題における視覚的満足度に基づく説明について検討する。 モデル予測の提示により,人間の精度が向上することが判明した。 しかし、様々な種類の説明は、人間の正確さやモデルの信頼を著しく変えることができない。
  論文  参考訳（メタデータ） (2020-07-23T20:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。