論文の概要: The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for Large Language Models
- arxiv url: http://arxiv.org/abs/2507.16076v1
- Date: Mon, 21 Jul 2025 21:23:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 21:34:13.897645
- Title: The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for Large Language Models
- Title（参考訳）: 人物のプロンプト(a) : 大規模言語モデルのためのソシオドモグラフィー・ペルソナ・プロンプトの体系的評価
- Authors: Marlene Lutz, Indira Sen, Georg Ahnert, Elisa Rogers, Markus Strohmaier,
- Abstract要約: 我々は、異なるペルソナがいかに大きな言語モデルに影響を及ぼすかを示す。
以上の結果から, LLMは非二項性, ヒスパニック性, 中東性などの辺縁化集団のシミュレートに苦慮していることが明らかとなった。
具体的には、インタビュースタイルのフォーマットと名前ベースのプライミングのプロンプトは、ステレオタイピングを減らし、アライメントを改善するのに役立ちます。
- 参考スコア（独自算出の注目度）: 3.2919397230854983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Persona prompting is increasingly used in large language models (LLMs) to simulate views of various sociodemographic groups. However, how a persona prompt is formulated can significantly affect outcomes, raising concerns about the fidelity of such simulations. Using five open-source LLMs, we systematically examine how different persona prompt strategies, specifically role adoption formats and demographic priming strategies, influence LLM simulations across 15 intersectional demographic groups in both open- and closed-ended tasks. Our findings show that LLMs struggle to simulate marginalized groups, particularly nonbinary, Hispanic, and Middle Eastern identities, but that the choice of demographic priming and role adoption strategy significantly impacts their portrayal. Specifically, we find that prompting in an interview-style format and name-based priming can help reduce stereotyping and improve alignment. Surprisingly, smaller models like OLMo-2-7B outperform larger ones such as Llama-3.3-70B. Our findings offer actionable guidance for designing sociodemographic persona prompts in LLM-based simulation studies.
- Abstract（参考訳）: ペルソナのプロンプトは、様々な社会デマグラフィーグループの視点をシミュレートするために、大きな言語モデル(LLM)でますます使われている。
しかし、どのようにペルソナのプロンプトが定式化されるかは結果に大きな影響を与え、そのようなシミュレーションの忠実さに対する懸念を提起する。
5つのオープンソース LLM を用いて,異なるペルソナ戦略,特に役割採用形式や階層的プライミング戦略が,オープン・アンド・クローズド・エンドのタスクにおいて,15の交叉人口集団間での LLM シミュレーションにどのように影響するかを体系的に検討した。
以上の結果から, LLMは非二元系, ヒスパニック系, 中東系のグループ, 特に非二元系, ヒスパニック系, ヒスパニック系, 中東系のグループをシミュレートするのに苦慮しているが, 人口統計学的プライミングの選択と役割採用戦略は, それらの表現に顕著に影響を及ぼすことが明らかとなった。
具体的には、インタビュースタイルのフォーマットと名前ベースのプライミングのプロンプトは、ステレオタイピングを減らし、アライメントを改善するのに役立ちます。
驚いたことに、OLMo-2-7Bのような小型モデルは、Llama-3.3-70Bのような大型モデルよりも優れていた。
LLMに基づくシミュレーション研究において,ソシオデマトグラフィー・ペルソナ・プロンプトを設計するための実用的なガイダンスを提供する。
関連論文リスト
- Addressing Bias in LLMs: Strategies and Application to Fair AI-based Recruitment [49.81946749379338]
この研究は、トランスフォーマーベースのシステムの能力を分析して、データに存在する人口統計バイアスを学習する。
最終ツールにおける偏りを緩和する手段として,学習パイプラインからの性別情報を削減するためのプライバシー向上フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T15:29:43Z) - Reading Between the Prompts: How Stereotypes Shape LLM's Implicit Personalization [6.781972039785424]
LLM(Generative Large Language Models)は、会話における微妙な手がかりからユーザの人口統計情報を推測する。
この結果から,LLMのユーザアイデンティティの表現方法に対する透明性の向上とコントロールの必要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-05-22T09:48:51Z) - Deep Binding of Language Model Virtual Personas: a Study on Approximating Political Partisan Misperceptions [4.234771450043289]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートする能力が高まっている。
本稿では, マルチターンインタビュー文として, 合成ユーザバックストリーを用いた仮想ペルソナ構築手法を提案する。
我々の生成したバックストリーはより長く、細部が豊富で、特定の個人を記述するのに一貫性がある。
論文 参考訳（メタデータ） (2025-04-16T00:10:34Z) - Beyond Demographics: Fine-tuning Large Language Models to Predict Individuals' Subjective Text Perceptions [33.76973308687867]
モデルにより,学習時の社会デマログラフィーの促進効果が向上することを示す。
このパフォーマンス向上は主に、ソシオデマトグラフィーパターンよりも、アノテータ固有の振る舞いを学ぶモデルが原因である。
全ての課題において,本研究の結果から,ソシオデマトグラフィーとアノテーションの関連性はほとんど学習されていないことが示唆された。
論文 参考訳（メタデータ） (2025-02-28T09:53:42Z) - Actions Speak Louder than Words: Agent Decisions Reveal Implicit Biases in Language Models [10.565316815513235]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートする際にも暗黙の偏見を示すことがある。
ほぼすべてのシミュレーションにおいて,最先端のLDMは社会デマトグラフィーの相違が顕著であることを示す。
実験結果と実世界の格差を比較すると、我々が発見したバイアスは方向整列されているが、顕著に増幅されていることがわかった。
論文 参考訳（メタデータ） (2025-01-29T05:21:31Z) - Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
論文 参考訳（メタデータ） (2024-10-24T04:02:30Z) - Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。
追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
論文 参考訳（メタデータ） (2024-10-03T16:43:17Z) - Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。
しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。
本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
論文 参考訳（メタデータ） (2024-08-13T02:08:32Z) - A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive [53.08398658452411]
大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。
このサンプリング行動が人間の意思決定と類似していることが示される。
統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
論文 参考訳（メタデータ） (2024-02-16T18:28:43Z) - Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。
我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。
ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
論文 参考訳（メタデータ） (2023-11-16T10:02:24Z) - On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。
本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T19:01:13Z) - Sensitivity, Performance, Robustness: Deconstructing the Effect of
Sociodemographic Prompting [64.80538055623842]
社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。
ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
論文 参考訳（メタデータ） (2023-09-13T15:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。