論文の概要: Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs

• arxiv url: http://arxiv.org/abs/2311.09730v2
• Date: Mon, 17 Feb 2025 17:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:05:06.591911
• Title: Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs
• Title（参考訳）: LLMによる主観的判断のシミュレーションには, ソシオドモグラフィー・プロンプトが有効ではない
• Authors: Huaman Sun, Jiaxin Pei, Minje Choi, David Jurgens,
• Abstract要約: 大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。 我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。 ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
• 参考スコア（独自算出の注目度）: 13.744746481528711
• License:
• Abstract: Human judgments are inherently subjective and are actively affected by personal traits such as gender and ethnicity. While Large Language Models (LLMs) are widely used to simulate human responses across diverse contexts, their ability to account for demographic differences in subjective tasks remains uncertain. In this study, leveraging the POPQUORN dataset, we evaluate nine popular LLMs on their ability to understand demographic differences in two subjective judgment tasks: politeness and offensiveness. We find that in zero-shot settings, most models' predictions for both tasks align more closely with labels from White participants than those from Asian or Black participants, while only a minor gender bias favoring women appears in the politeness task. Furthermore, sociodemographic prompting does not consistently improve and, in some cases, worsens LLMs' ability to perceive language from specific sub-populations. These findings highlight potential demographic biases in LLMs when performing subjective judgment tasks and underscore the limitations of sociodemographic prompting as a strategy to achieve pluralistic alignment. Code and data are available at: https://github.com/Jiaxin-Pei/LLM-as-Subjective-Judge.
• Abstract（参考訳）: 人間の判断は本質的に主観的であり、性別や民族といった個人的特性の影響を強く受けている。 大規模言語モデル(LLM)は、様々な文脈における人間の反応をシミュレートするために広く用いられているが、主観的タスクにおける人口動態の違いを説明する能力は、いまだに不確実である。 本研究は,POPQUORNデータセットを用いて,2つの主観的判断課題(丁寧さと不快さ)における人口差を理解する能力について,9つのLLMを評価した。 ゼロショット設定では、どちらのタスクも、ほとんどのモデルの予測は、アジアや黒人の参加者よりも白人の参加者のラベルとより密接に一致している。 さらに、社会デマトグラフィーのプロンプトは一貫して改善せず、場合によっては特定のサブ集団から言語を知覚するLLMの能力を悪化させる。 これらの知見は、主観的判断タスクを行う場合のLLMの潜在的な人口統計バイアスを浮き彫りにし、多元的アライメントを達成するための戦略として、社会デマログラフィーの限界を浮き彫りにしている。 コードとデータは、https://github.com/Jiaxin-Pei/LLM-as-Subjective-Judgeで入手できる。

関連論文リスト

• Who Does the Giant Number Pile Like Best: Analyzing Fairness in Hiring Contexts [5.111540255111445]
  レースベースの違いは生成したサマリーの約10%に現れ、ジェンダーベースの違いは1%に過ぎなかった。 検索モデルは非デデマグラフィー的変化に匹敵する感度を示し、公平性問題は一般的な脆性問題に起因する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-01-08T07:28:10Z)
• Robustness and Confounders in the Demographic Alignment of LLMs with Human Perceptions of Offensiveness [10.194622474615462]
  大規模言語モデル(LLM)は人口統計学的バイアスを示すことが知られているが、複数のデータセットにまたがってこれらのバイアスを体系的に評価する研究は少ない。 以上の結果から、人口統計学的特徴、特に人種、影響のアライメントはデータセット間で矛盾し、しばしば他の要因と絡み合っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-13T19:08:23Z)
• Are Large Language Models Ready for Travel Planning? [6.307444995285539]
  大規模言語モデル (LLMs) は、宿泊や観光において有望であり、人口統計群にまたがるサービス提供能力は未だ不明である。 本稿では,LDMを旅行計画アシスタントとして利用する際の性別と民族的偏見について検討する。
  論文  参考訳（メタデータ） (2024-10-22T18:08:25Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting [87.30837365008931]
  CoT(Chain-of-Thought)プロンプトを備えた大規模言語モデル(LLM)は、計算不能なタスクでも正確なインクリメンタルな予測を行うことができる。 本研究では,LLMのステップバイステップ予測が性差に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-01-28T06:50:10Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations [5.898806397015801]
  大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。 本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。 両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
  論文  参考訳（メタデータ） (2023-08-03T21:12:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。