論文の概要: Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs

• arxiv url: http://arxiv.org/abs/2311.09730v2
• Date: Mon, 17 Feb 2025 17:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:44.092365
• Title: Sociodemographic Prompting is Not Yet an Effective Approach for Simulating Subjective Judgments with LLMs
• Title（参考訳）: LLMによる主観的判断のシミュレーションには, ソシオドモグラフィー・プロンプトが有効ではない
• Authors: Huaman Sun, Jiaxin Pei, Minje Choi, David Jurgens,
• Abstract要約: 大規模言語モデル(LLM)は、様々な文脈で人間の反応をシミュレートするために広く使われている。 我々は,2つの主観的判断課題(丁寧さと攻撃性)において,人口差を理解する能力について,9つの人気のLCMを評価した。 ゼロショット設定では、両方のタスクのほとんどのモデルの予測は、アジアやブラックの参加者よりもホワイトの参加者のラベルとより密接に一致している。
• 参考スコア（独自算出の注目度）: 13.744746481528711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human judgments are inherently subjective and are actively affected by personal traits such as gender and ethnicity. While Large Language Models (LLMs) are widely used to simulate human responses across diverse contexts, their ability to account for demographic differences in subjective tasks remains uncertain. In this study, leveraging the POPQUORN dataset, we evaluate nine popular LLMs on their ability to understand demographic differences in two subjective judgment tasks: politeness and offensiveness. We find that in zero-shot settings, most models' predictions for both tasks align more closely with labels from White participants than those from Asian or Black participants, while only a minor gender bias favoring women appears in the politeness task. Furthermore, sociodemographic prompting does not consistently improve and, in some cases, worsens LLMs' ability to perceive language from specific sub-populations. These findings highlight potential demographic biases in LLMs when performing subjective judgment tasks and underscore the limitations of sociodemographic prompting as a strategy to achieve pluralistic alignment. Code and data are available at: https://github.com/Jiaxin-Pei/LLM-as-Subjective-Judge.
• Abstract（参考訳）: 人間の判断は本質的に主観的であり、性別や民族といった個人的特性の影響を強く受けている。 大規模言語モデル(LLM)は、様々な文脈における人間の反応をシミュレートするために広く用いられているが、主観的タスクにおける人口動態の違いを説明する能力は、いまだに不確実である。 本研究は,POPQUORNデータセットを用いて,2つの主観的判断課題(丁寧さと不快さ)における人口差を理解する能力について,9つのLLMを評価した。 ゼロショット設定では、どちらのタスクも、ほとんどのモデルの予測は、アジアや黒人の参加者よりも白人の参加者のラベルとより密接に一致している。 さらに、社会デマトグラフィーのプロンプトは一貫して改善せず、場合によっては特定のサブ集団から言語を知覚するLLMの能力を悪化させる。 これらの知見は、主観的判断タスクを行う場合のLLMの潜在的な人口統計バイアスを浮き彫りにし、多元的アライメントを達成するための戦略として、社会デマログラフィーの限界を浮き彫りにしている。 コードとデータは、https://github.com/Jiaxin-Pei/LLM-as-Subjective-Judgeで入手できる。

関連論文リスト

• Does the Prompt-based Large Language Model Recognize Students' Demographics and Introduce Bias in Essay Scoring? [3.7498611358320733]
  大規模言語モデル (LLM) は自動エッセイ・スコーリング (AES) で広く使われている。 本研究は,学生の属性の予測力と評価課題における評価バイアスとの関係について検討した。
  論文  参考訳（メタデータ） (2025-04-30T05:36:28Z)
• Unmasking Implicit Bias: Evaluating Persona-Prompted LLM Responses in Power-Disparate Social Scenarios [4.626073646852022]
  応答のセマンティックシフトを測定するために,コサイン距離を用いた新しいフレームワークを提案する。 我々は、人口動態が、権力の異なる社会シナリオにおける応答品質にどのように影響するかを評価する。 以上の結果から,中高年で有能な母国生まれのコーカサス系無神論的男性に対する「デフォルト・ペルソナ」バイアスが示唆された。
  論文  参考訳（メタデータ） (2025-03-03T13:44:03Z)
• Who Does the Giant Number Pile Like Best: Analyzing Fairness in Hiring Contexts [5.111540255111445]
  レースベースの違いは生成したサマリーの約10%に現れ、ジェンダーベースの違いは1%に過ぎなかった。 検索モデルは非デデマグラフィー的変化に匹敵する感度を示し、公平性問題は一般的な脆性問題に起因する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-01-08T07:28:10Z)
• Are Large Language Models Ready for Travel Planning? [6.307444995285539]
  大規模言語モデル (LLMs) は、宿泊や観光において有望であり、人口統計群にまたがるサービス提供能力は未だ不明である。 本稿では,LDMを旅行計画アシスタントとして利用する際の性別と民族的偏見について検討する。
  論文  参考訳（メタデータ） (2024-10-22T18:08:25Z)
• Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
  ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。 追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
  論文  参考訳（メタデータ） (2024-10-03T16:43:17Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting [87.30837365008931]
  CoT(Chain-of-Thought)プロンプトを備えた大規模言語モデル(LLM)は、計算不能なタスクでも正確なインクリメンタルな予測を行うことができる。 本研究では,LLMのステップバイステップ予測が性差に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2024-01-28T06:50:10Z)
• On the steerability of large language models toward data-driven personas [98.9138902560793]
  大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。 本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T19:01:13Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting [64.80538055623842]
  社会デマトグラフィープロンプトは、特定の社会デマトグラフィープロファイルを持つ人間が与える答えに向けて、プロンプトベースのモデルの出力を操縦する技術である。 ソシオデマトグラフィー情報はモデル予測に影響を及ぼし、主観的NLPタスクにおけるゼロショット学習を改善するのに有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-13T15:42:06Z)
• The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations [5.898806397015801]
  大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。 本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。 両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
  論文  参考訳（メタデータ） (2023-08-03T21:12:54Z)
• MultiModal Bias: Introducing a Framework for Stereotypical Bias Assessment beyond Gender and Race in Vision Language Models [40.12132844347926]
  MMBiasと呼ばれる視覚的およびテキスト的バイアスベンチマークを提供し、約3,800の画像と14のサブグループをカバーするフレーズからなる。 このデータセットを用いて、CLIP、ALBEF、VLTを含むいくつかの著名な自己監督型マルチモーダルモデルにおけるバイアスを評価する。 バイアスを緩和するための後処理ステップとして適用可能な,大規模な事前学習モデルに特化して設計されたデバイアス処理手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T17:36:37Z)
• Perturbation Augmentation for Fairer NLP [33.442601687940204]
  少なくとも、モデルフェアネスを測定するための最良の指標によると、人口動態に乱れたコーパスで事前訓練された言語モデルは、より公平である。 我々の発見は有望であるように思われるが、大きな言語モデルの(不)公正性を評価するのにどのように最適かという優れた疑問だけでなく、まだいくつかの制限がある。
  論文  参考訳（メタデータ） (2022-05-25T09:00:29Z)
• A Survey on Bias and Fairness in Natural Language Processing [1.713291434132985]
  我々は、バイアスの起源、公平性の定義、NLPバイアスのサブフィールドの違いを緩和する方法について分析する。 我々は,NLPアルゴリズムによる悪質な偏見の根絶に向けた今後の研究について論じる。
  論文  参考訳（メタデータ） (2022-03-06T18:12:30Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。