論文の概要: Asking an AI for salary negotiation advice is a matter of concern: Controlled experimental perturbation of ChatGPT for protected and non-protected group discrimination on a contextual task with no clear ground truth answers

• arxiv url: http://arxiv.org/abs/2409.15567v3
• Date: Tue, 08 Oct 2024 14:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:30:53.287385
• Title: Asking an AI for salary negotiation advice is a matter of concern: Controlled experimental perturbation of ChatGPT for protected and non-protected group discrimination on a contextual task with no clear ground truth answers
• Title（参考訳）: 給与交渉アドバイスのためのAIを求めることは、懸念事項である: 明確な根拠のない文脈的タスクにおける保護的および非保護的グループ識別のためのChatGPTの実験的摂動を制御した
• Authors: R. Stuart Geiger, Flynn O'Sullivan, Elsie Wang, Jonathan Lo,
• Abstract要約: 実験によるChatGPTの4種類のバイアス監査を行った。 我々は、各バージョンに98,800通のプロンプトを提出し、従業員の性別、大学、専攻を体系的に変更した。 マルチモデルプラットフォームとしてのChatGPTは、そのようなタスクに対して信頼できるほど堅牢で一貫したものではない。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We conducted controlled experimental bias audits for four versions of ChatGPT, which we asked to recommend an opening offer in salary negotiations for a new hire. We submitted 98,800 prompts to each version, systematically varying the employee's gender, university, and major, and tested prompts in voice of each side of the negotiation: the employee versus employer. We find ChatGPT as a multi-model platform is not robust and consistent enough to be trusted for such a task. We observed statistically significant salary offers when varying gender for all four models, although with smaller gaps than for other attributes tested. The largest gaps were different model versions and between the employee- vs employer-voiced prompts. We also observed substantial gaps when varying university and major, but many of the biases were not consistent across model versions. We tested for fictional and fraudulent universities and found wildly inconsistent results across cases and model versions. We make broader contributions to the AI/ML fairness literature. Our scenario and our experimental design differ from mainstream AI/ML auditing efforts in key ways. Bias audits typically test discrimination for protected classes like gender, which we contrast with testing non-protected classes of university and major. Asking for negotiation advice includes how aggressive one ought to be in a negotiation relative to known empirical salary distributions and scales, which is a deeply contextual and personalized task that has no objective ground truth to validate. These results raise concerns for the specific model versions we tested and ChatGPT as a multi-model platform in continuous development. Our epistemology does not permit us to definitively certify these models as either generally biased or unbiased on the attributes we test, but our study raises matters of concern for stakeholders to further investigate.
• Abstract（参考訳）: そこで我々は,ChatGPTの4種類の試験的バイアス監査を実施し,新たな雇用のための給与交渉のオープニングオファーを推奨した。 我々は、各バージョンに98,800通のプロンプトを提出し、従業員の性別、大学、メジャーを体系的に変更し、交渉の両側、すなわち雇用主対雇用主との声でプロンプトをテストした。 マルチモデルプラットフォームとしてのChatGPTは、そのようなタスクに対して信頼できるほど堅牢で一貫したものではない。 性別が4モデルごとに異なる場合, 統計学的に有意な給与提供が認められたが, 他の属性に比べて差は小さい。 最大のギャップは、異なるモデルバージョンと、従業員と雇用主が投票したプロンプトの間にあった。 また、大学やメジャーの異なる時期には、かなりのギャップが見られたが、多くのバイアスはモデルバージョン間で一致していなかった。 虚偽の大学のためにテストし、ケースやモデルバージョンで非常に一貫性のない結果を見つけました。 AI/MLフェアネス文学に幅広い貢献をしています。 我々のシナリオと実験設計は、主要な方法でAI/ML監査のメインストリームとは異なる。 バイアス監査は、通常、性別のような保護されたクラスに対する差別をテストする。 交渉のアドバイスを求めるには、既知の経験的給与の分配や規模に対して、いかに積極的に交渉すべきか、などが含まれる。 これらの結果は、私たちがテストした特定のモデルバージョンと、継続的開発におけるマルチモデルプラットフォームとしてのChatGPTに対する懸念を引き起こします。 私たちの認識学は、これらのモデルを、テストする属性に偏ったり、偏りのないものとして、断定的に認定することができませんが、我々の研究は、ステークホルダーがさらなる調査を行うための関心事を引き起こします。

関連論文リスト

• Hire Me or Not? Examining Language Model's Behavior with Occupation Attributes [7.718858707298602]
  大規模言語モデル(LLM)は、採用やレコメンデーションシステムなど、プロダクションパイプラインに広く統合されている。 本稿では、職業意思決定の文脈において、ジェンダーステレオタイプに関するLCMの行動について検討する。
  論文  参考訳（メタデータ） (2024-05-06T18:09:32Z)
• What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations [62.91799637259657]
  大規模言語モデル(LLMs)は、応答を辞退しても、社会的な偏見を示すか? 本研究は,文脈的埋め込みを探索し,このバイアスが潜在表現にエンコードされているかどうかを探索することによって検討する。 単語の隠れベクトルからLLMの単語ペア選好を予測するロジスティックなBradley-Terryプローブを提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:53:13Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Consistency Analysis of ChatGPT [65.268245109828]
  本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。 その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
  論文  参考訳（メタデータ） (2023-03-11T01:19:01Z)
• ChatGPT: Jack of all trades, master of none [4.693597927153063]
  OpenAIはChat Generative Pre-trained Transformer (ChatGPT)をリリースした。 25種類のNLPタスクにおけるChatGPTの機能について検討した。 われわれはChatGPTとGPT-4のプロンプト処理を自動化し,49k以上の応答を解析した。
  論文  参考訳（メタデータ） (2023-02-21T15:20:37Z)
• BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
  テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。 ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。 本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
  論文  参考訳（メタデータ） (2023-02-14T22:07:57Z)
• Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
  大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。 生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。 次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。