論文の概要: Rethinking the Evaluation and Optimization of LLM-Based Social Simulation

• arxiv url: http://arxiv.org/abs/2608.19689v1
• Date: Thu, 20 Aug 2026 06:26:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.476644
• Title: Rethinking the Evaluation and Optimization of LLM-Based Social Simulation
• Title（参考訳）: LLMに基づく社会シミュレーションの評価と最適化の再考
• Abstract要約: 主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。 我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。 SUBJSIMの結果は,本手法の利点を示すものである。
• 参考スコア（独自算出の注目度）: 56.18577997572273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based social simulation is a promising complement to traditional methods such as surveys and behavioral experiments. A core question is how to evaluate the fidelity of LLM-simulated human behavior and optimize LLMs toward it. Prevailing practice evaluates by accuracy, checking whether the model selects the single response observed from a human, and trains the LLM to reproduce this hard label. However, human behavior is inherently subjective: the same person in the same situation may reasonably act differently, so an observed response is only one draw from an underlying response distribution, rendering accuracy-based evaluation unreliable and hard-label training misleading. To address these problems, we first introduce the subjectivity coefficient, an entropy-based quantity distinguishing objective tasks such as coding from subjective ones such as social simulation, and use it to systematically analyze how accuracy-based evaluation and hard-label training fail as subjectivity grows. Based on the subjectivity coefficient, we propose Subjectivity-Adaptive soft-Label Training (SALT): it pools observed outputs from semantically nearby inputs into soft distributional labels, with an aggregation radius adapted to the estimated subjectivity of each input; in the near-objective limit the neighborhood shrinks, so SALT naturally falls back to standard single-label training. Moreover, since existing datasets record only single observed responses and cannot support distributional evaluation, we construct SUBJSIM, a benchmark of 19,300 contexts covering 193 annotators and 100 subjective questions. Since real-world data typically provide only a single observation per input, our experiments train models from single observed outputs while evaluating them against the full response distributions, verifying feasibility in realistic settings. Results on SUBJSIM demonstrate the advantages of our method.
• Abstract（参考訳）: LLMに基づく社会シミュレーションは、調査や行動実験といった従来の手法を補完する有望な手法である。 中核的な疑問は、LLMシミュレーションされた人間の行動の忠実さを評価し、LLMをそれに向けて最適化する方法である。 一般的なプラクティスは正確さで評価し、モデルが人間から観察された単一応答を選択するかどうかを確認し、LSMにこのハードラベルを再現するように訓練する。 しかし、人間の行動は本質的に主観的であり、同じ状況の同一人物は、合理的に異なる行動をとる可能性があるため、観察された応答は、基礎となる応答分布からの1つの引き分けにすぎない。 これらの問題に対処するために、まずエントロピーベースの量である主観係数を導入し、社会シミュレーションのような主観的タスクとコーディングのような目的的タスクを区別し、それを用いて、主観的タスクが大きくなるにつれて、精度に基づく評価とハードラベルのトレーニングがどう失敗するかを体系的に分析する。 主観性係数に基づいて、主観性適応型ソフトラベルトレーニング(SALT)を提案し、各入力の主観性の推定値に適応したアグリゲーション半径で、意味的に近接する入力から観測された出力をソフト分布ラベルにプールする。 さらに,既存のデータセットは単一応答しか記録せず,分布評価もサポートできないため,193のアノテータと100の主観的質問を含む19,300のコンテキストのベンチマークであるSUBJSIMを構築した。 実世界のデータは通常、入力毎に1つの観測しか提供しないため、実験では、1つの観測された出力からモデルをトレーニングし、完全な応答分布に対して評価し、現実的な設定で実現可能性を検証する。 SUBJSIMの結果は,本手法の利点を示すものである。

関連論文リスト

• Beyond Averages: Evaluating LLMs on Human Survey Replication at the Distributional Level [8.995779634140495]
  韓国のインスタントヌードル購入における非公益消費者選択実験を用いて,2010年調査の再現性を評価した。 我々は、平均レベル、パターン、分布アライメントにおける人間とLLMの反応を比較し、人間のデータのみからの基準ベースラインと比較した。
  論文  参考訳（メタデータ） (2026-06-08T04:22:15Z)
• Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data [54.145424717168794]
  大きな言語モデル(LLM)は、目覚ましい人間のような能力を示しているが、特定の個人を複製する能力は未発見のままである。 本稿では,10年以上にわたるプライベートメッセージ履歴のボランティア配信アーカイブを用いて,LSMに基づく個人シミュレーションのケーススタディを提案する。 本研究は,ボランティアの知人が,最も有望な多候補プール内の応答を正確に識別できるかどうかを評価するための「個別チューリングテスト」を提案する。
  論文  参考訳（メタデータ） (2026-03-01T21:46:27Z)
• Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility [7.616305266104683]
  大規模言語モデル (LLM) は、計算社会科学における人間の判断のためのプロキシとして、ますます使われている。 LLMを模擬した調査の回答者が、誤情報信念と共有の人間のパターンを再現できるかどうかを検証した。
  論文  参考訳（メタデータ） (2026-02-04T15:48:05Z)
• Uncertainty Quantification for Large Language Model Reward Learning under Heterogeneous Human Feedback [8.538830579425147]
  大規模言語(LLM)の整合に使用される推定モデルと統計的報酬モデルについて検討する。 LLMアライメントの重要な構成要素は、人間のフィードバックからの強化学習である。
  論文  参考訳（メタデータ） (2025-12-02T20:22:25Z)
• IROTE: Human-like Traits Elicitation of Large Language Model via In-Context Self-Reflective Optimization [66.6349183886101]
  IROTEは,安定かつ伝達可能な特性抽出のための新しいインコンテキスト手法である。 IROTEが生成する1つの自己反射は、様々な下流タスクにまたがる目標特性の安定な偽造を LLM が引き起こすことを示す。
  論文  参考訳（メタデータ） (2025-08-12T08:04:28Z)
• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。