論文の概要: LLM-as-a-Demographic: Whom Sociodemographic Prompting Helps, and Whom It Hurts

• arxiv url: http://arxiv.org/abs/2609.00222v1
• Date: Mon, 31 Aug 2026 18:33:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.963599
• Title: LLM-as-a-Demographic: Whom Sociodemographic Prompting Helps, and Whom It Hurts
• Title（参考訳）: LLM-as-a-demographic: Whom Sociodemography Prompting Helps and Whom it Hurts
• Abstract要約: ソシオドモグラフィーは、アノテータの人口統計上の判断を対応するグループの判断に合わせるために、裁判官にアノテータの人口統計プロファイルを指示する。 3つの主観的課題に対する23個のオープンウェイトLDMのラベル分布を実アノテータ群と比較した。 まず第一に、人口統計のない裁判官は、視点中立ではない:モデルは、大学教育を受けた注釈学者であるホワイトの判断を最もよく再現する。 第二に、人口動態の条件付けは非対称であり、裁判官を多数派へと移動させ、少数派から遠ざかる。
• 参考スコア（独自算出の注目度）: 10.704307144706226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used as judges for subjective tasks, where annotators disagree and the relevant question is not only how accurate a judge is, but whose judgments it reproduces. Sociodemographic prompting conditions the judge on an annotator's demographic profile to align its judgments with the corresponding group's. We test whether this alignment emerges distributionally, comparing the predicted label distributions of 23 open-weight LLMs on three subjective tasks against those of real annotator groups, under three conditions: no demographic information, single-attribute profiles, and intersectional profiles over gender, age, race, and education. Three findings emerge. First, a judge prompted with no demographics is not perspective-neutral: models best reproduce the judgments of White, college-educated annotators. Second, demographic conditioning is asymmetric: it moves the judge toward majority groups and away from minority groups, most strongly on offensiveness, where intersectional profiles amplify the harm. Third, by comparing base and instruct models we identify instruction-tuning as a possible source of the asymmetry. Demographic conditioning should therefore be used with caution to estimate group judgments: conditioning moves predictions away from the reference distributions of the minority groups the method is often invoked to serve.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、アノテータが同意せず、関連する問題は、判断がどの程度正確であるかだけでなく、その判断が再現されるかである。 ソシオドモグラフィーは、アノテータの人口統計上の判断を対応するグループの判断に合わせるために、裁判官にアノテータの人口統計プロファイルを指示する。 このアライメントが分布的に現れるかどうかを,3つの主観的課題における23個のオープンウェイトLDMのラベル分布と実アノテータ群のラベル分布を,人口統計情報や単一属性プロファイル,性別,年齢,人種,教育上の交叉プロファイルの3つの条件で比較した。 3つの発見がある。 まず第一に、人口統計のない裁判官は、視点中立ではない:モデルは、大学教育を受けた注釈学者であるホワイトの判断を最もよく再現する。 第二に、人口動態の条件付けは非対称であり、裁判官を多数派へと移動させ、少数派から遠ざかる。 第3に、ベースモデルとインストラクションモデルを比較して、命令チューニングを非対称性の可能な情報源として特定する。 条件付けは集団判断を推定するために注意を払って用いる必要がある: 条件付けは、メソッドがしばしば機能するために呼び出されるマイノリティグループの参照分布から予測を移動させる。

関連論文リスト

• FairLens: Benchmarking Fairness in Vision-Language Models for High-Stakes Decision-Making [7.808503191719903]
  視覚言語モデル(VLM)を,雇用,法的,医療の3つの領域で評価する。 第一の失敗は不平等な治療ではなく、不当な推論であることがわかった。 公平な高感度VLM動作には,グループ間での同様の処理が必要であり,高感度特性を外観から推測することを拒否した。
  論文  参考訳（メタデータ） (2026-09-01T16:06:50Z)
• FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation [0.0]
  FairFund-Benchは,従来の監査設計の主要な特徴を体系的に変化させるベンチマークである。 この不一致は監査形式の違いから生じる可能性を示し、FairFund-Benchを紹介する。 このベンチマークは、4つの基準(デコグラフィーバイアス、保存性アライメント、クロスタスク整合性、およびクロスコンテキスト整合性)でモデルを評価する。
  論文  参考訳（メタデータ） (2026-07-31T01:29:16Z)
• From Self to Other: Evaluating Demographic Perspective-Taking in LLM Hate Speech Annotation [5.762370982168011]
  パーソナ条件付き大規模言語モデル(特定の階層的アイデンティティーを採用するよう促されるモデル)は、スケールにおける様々な視点をシミュレートする方法として提案されている。 人間の社会的判断の3つの側面として, (i) 異なる集団のペルソナが人間的な方法(グループ間不一致)に異同するか否か, (ii) コンテンツが自身のアイデンティティ(グループ内での感受性)をターゲットとした場合に, より敏感になるかどうか, (iii) 他集団の反応を正確に予測できるかどうか (viarious prediction) を評価した。 以上の結果から, モデルが3次元全てを連続的に捉えることはなく, 性能はモデル依存であり, 確実に出現しないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-06-04T15:09:58Z)
• Sociodemographic Biases in Educational Counselling by Large Language Models [61.30199414932204]
  本研究では,Large Language Models(LLMs)における社会デマトグラフィーバイアスについて検討する。 多様な状況下で生徒を記述した900のヴィグネットに関する質問に答える6つのLDMからの回答を評価した。
  論文  参考訳（メタデータ） (2026-04-03T14:08:22Z)
• Widespread Gender and Pronoun Bias in Moral Judgments Across LLMs [0.37331950863394847]
  大規模言語モデル (LLMs) は、道徳的または倫理的なステートメントを評価するためにますます用いられる。 本研究は, 文法的人, 数, 性別的マーカーが, 公平性のLLM道徳的分類にどのように影響するかを, 制御された文レベルで研究する。
  論文  参考訳（メタデータ） (2026-03-13T22:42:37Z)
• Mitigating Subgroup Disparities in Multi-Label Speech Emotion Recognition: A Pseudo-Labeling and Unsupervised Learning Approach [53.824673312331626]
  Implicit Demography Inference (IDI)モジュールは、k平均クラスタリングを用いて、音声感情認識(SER)におけるバイアスを軽減する 実験により、擬似ラベルIDIはサブグループの格差を減らし、フェアネスの指標を28%以上改善することが示された。 教師なしのIDIは、SERのパフォーマンスが3.6%未満のフェアネス指標を4.6%以上改善する。
  論文  参考訳（メタデータ） (2025-05-20T14:50:44Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs [58.27353205269664]
  社会的バイアスは、Large Language Model(LLM)生成コンテンツにおいて言語エージェンシーに現れる。 LLMのバイアスを包括的に評価するLanguage Agency Bias Evaluationベンチマークを導入する。 LABEを用いて,近年の3つのLLM(ChatGPT,Llama3,Mistral)における言語エージェントの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Leveraging Prototypical Representations for Mitigating Social Bias without Demographic Information [50.29934517930506]
  DAFairは、言語モデルにおける社会的バイアスに対処する新しいアプローチである。 偏見を緩和するために、原型的人口統計テキストを活用し、微調整プロセス中に正規化用語を取り入れる。
  論文  参考訳（メタデータ） (2024-03-14T15:58:36Z)
• Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs [13.744746481528711]
  大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。 我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。 ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
  論文  参考訳（メタデータ） (2023-11-16T10:02:24Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Identifying biases in legal data: An algorithmic fairness perspective [3.8073142980733]
  本稿では,アルゴリズムの公正性の観点から,大規模訴訟データにおけるバイアスの同定と測定の問題について検討する。 我々の手法は2つの回帰モデルを用いており、データによって与えられる「典型的」裁判官の決定を表すベースラインと、3つの公正の概念のうちの1つを適用する「公正」裁判官である。
  論文  参考訳（メタデータ） (2021-09-21T04:05:12Z)
• Mitigating Face Recognition Bias via Group Adaptive Classifier [53.15616844833305]
  この研究は、全てのグループの顔がより平等に表現できる公正な顔表現を学ぶことを目的としている。 我々の研究は、競争精度を維持しながら、人口集団間での顔認識バイアスを軽減することができる。
  論文  参考訳（メタデータ） (2020-06-13T06:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。