Rethinking the Evaluation and Optimization of LLM-Based Social Simulation
Abstractの概要
本論文は、人間の応答は本質的に決定論的ではなく分布的であるため、従来の正解率に基づく評価やハードラベル学習はLLMベースの社会シミュレーションに適していないと主張しています。著者らは応答エントロピーに基づく正規化主観性係数を導入し、1つの観測ラベルと潜在的な応答分布との乖離が主観性の増加に伴いどのように悪化するかを分析しています。これに対処するため、推定された主観性に応じて半径を適応させつつ意味的に類似したコンテキストから応答を集約してソフトラベルを構築するSALT（Subjectivity-Adaptive soft-Label Training）を提案しています。さらに、193名のアノテーターが100の主観的質問に答えた19,300件のペルソナ・質問コンテキストを含み、評価用に応答傾向分布を取得したベンチマークSubjSimを提示しています。
新規性
本研究の主な新規性は、タスクの主観性と正解率ベースの評価やハードラベル最適化の破綻を結びつける形式的な主観性係数に基づき、社会シミュレーションを単一ラベル予測ではなく分布マッチングとして再定義した点にあります。また、適応的な近傍半径を持つコンテキスト特有のソフトラベル集約手法SALTを導入し、完全な人間の応答分布を提供する新しいベンチマークと組み合わせた点も特徴です。
成果
Qwen3-8Bを用いたSubjSim上の実験において、SALTは標準的な教師あり微調整（SFT）を含むベースラインをKL、JSD、TVD、MMDの全指標で上回りました。テストセット全体でSFT比においてKLを77.6%、JSDを45.9%、TVDを31.2%、MMDを52.7%削減し、高主観性層ではKLが96.9%削減されるなど中・高主観性設定で最大の改善を示しました。アブレーション実験により、意味的類似性と主観性適応型の近傍選択の双方が性能向上に寄与していることが確認されています。
論文の注目点
- 正解率に基づく評価がモデルの順位付けを誤らせる可能性があり、応答の主観性が高まるにつれて単一観測のハードラベル学習の破綻が深刻化することを理論的に示した点
- 予測される行動のばらつきが大きい場合に近傍を広げ、意味的に類似したコンテキストから応答を集約してコンテキストごとのソフトラベルを構築するSALTを提案した点
- 学習をコンテキストあたり1つの観測行動に制限しつつ、人間の応答分布を含む19,300件のコンテキストを提供して社会シミュレーションの分布的評価を可能にするSubjSimベンチマークを構築した点