論文の概要: Whose Personae? Synthetic Persona Experiments in LLM Research and Pathways to Transparency
- arxiv url: http://arxiv.org/abs/2512.00461v1
- Date: Sat, 29 Nov 2025 12:27:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.249722
- Title: Whose Personae? Synthetic Persona Experiments in LLM Research and Pathways to Transparency
- Title（参考訳）: ペルソナとは何か : LLM研究における合成ペルソナ実験と透明性への道
- Authors: Jan Batzner, Volker Stocker, Bingjun Tang, Anusha Natarajan, Qinhao Chen, Stefan Schmid, Gjergji Kasneci,
- Abstract要約: 2023年から2025年の間に、NLPとAIの主要な会場で発表された63の研究のレビュー。
課題と関心の人口はペルソナに基づく実験でしばしば不特定であることが示される。
本稿では,代表サンプリング,実証データへの明示的な接地,生態学的妥当性の向上を重視したペルソナ透明性チェックリストを提案する。
- 参考スコア（独自算出の注目度）: 12.62715115816099
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthetic personae experiments have become a prominent method in Large Language Model alignment research, yet the representativeness and ecological validity of these personae vary considerably between studies. Through a review of 63 peer-reviewed studies published between 2023 and 2025 in leading NLP and AI venues, we reveal a critical gap: task and population of interest are often underspecified in persona-based experiments, despite personalization being fundamentally dependent on these criteria. Our analysis shows substantial differences in user representation, with most studies focusing on limited sociodemographic attributes and only 35% discussing the representativeness of their LLM personae. Based on our findings, we introduce a persona transparency checklist that emphasizes representative sampling, explicit grounding in empirical data, and enhanced ecological validity. Our work provides both a comprehensive assessment of current practices and practical guidelines to improve the rigor and ecological validity of persona-based evaluations in language model alignment research.
- Abstract（参考訳）: 合成人格実験は大規模言語モデルアライメント研究において顕著な手法となっているが、これらの人格の代表性と生態的妥当性は研究によって大きく異なる。
2023年から2025年にかけて、主要なNLPとAIの会場で発表された63のピアレビュー研究のレビューを通じて、重要なギャップが明らかになった。
分析の結果,社会デマログラフィーの属性は限定的であり,LLM人格の表現性は35%に過ぎなかった。
そこで本研究では,代表的サンプリング,実証データへの明確な接地,生態的妥当性の向上を重視したペルソナ透明性チェックリストを提案する。
本研究は,言語モデルアライメント研究におけるペルソナに基づく評価の厳密さと生態的妥当性を改善するために,現在の実践の包括的評価と実践的ガイドラインの両方を提供する。
関連論文リスト
- Applying Psychometrics to Large Language Model Simulated Populations: Recreating the HEXACO Personality Inventory Experiment with Generative Agents [0.0]
生成エージェントは、洗練された自然言語の相互作用を通して人間のような特性を示す。
事前に定義された人物の伝記に基づいて役割や個性を仮定する能力は、社会科学研究の参加者にとってコスト効率のよい代用品として位置づけられている。
本稿では,このようなペルソナをベースとしたエージェントがヒトの集団を表わすための有効性について検討する。
論文 参考訳（メタデータ） (2025-08-01T16:16:16Z) - PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
データ構築とモデルチューニングを改善するためのフレームワークPersLLMを提案する。
データ利用が不十分な場合には、Chain-of-Thoughtプロンプトやアンチインダクションといった戦略を取り入れます。
厳密な振舞いパターンを設計し,モデルの性格の特異性とダイナミズムを高めるために自動DPOを導入する。
論文 参考訳（メタデータ） (2024-07-17T08:13:22Z) - Virtual Personas for Language Models via an Anthology of Backstories [5.2112564466740245]
アンソロジー(アンソロジー、Anthology)は、オープン・エンド・ライフ・ナラティブを利用して、大きな言語モデルを特定のバーチャル・ペルソナに調和させる手法である。
本手法は,実験結果の一貫性と信頼性を高めつつ,多様なサブ集団のより良い表現を確実にすることを示す。
論文 参考訳（メタデータ） (2024-07-09T06:11:18Z) - Sensitivity, Performance, Robustness: Deconstructing the Effect of
Sociodemographic Prompting [64.80538055623842]
社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。
ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
論文 参考訳（メタデータ） (2023-09-13T15:42:06Z) - Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。
GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
論文 参考訳（メタデータ） (2023-05-31T15:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。