論文の概要: Evaluation of LLMs Biases Towards Elite Universities: A Persona-Based Exploration

• arxiv url: http://arxiv.org/abs/2407.12801v2
• Date: Sun, 21 Jul 2024 23:23:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 22:03:21.681156
• Title: Evaluation of LLMs Biases Towards Elite Universities: A Persona-Based Exploration
• Title（参考訳）: エリート大学へのLCMのバイアス評価--ペルソナによる探究
• Authors: Shailja Gupta, Rajesh Ranjan,
• Abstract要約: 本研究は,技術系専門職にペルソナを産み出す際に,一般のLLMがエリート大学に偏見を呈するかどうかを考察する。 GPT-3.5、Gemini、Claude 3 Sonnetで432のペルソナを生成しました。 その結果、LLMはエリート大学を著しく超越しており、これらの機関を特徴とする人格は72.45%であり、実際のLinkedInのデータでは8.56%に過ぎなかった。 この研究は、LLMにおける教育バイアスに対処する必要性を強調し、AIによる採用プロセスにおけるそのようなバイアスを軽減するための戦略を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Elite universities are a dream destination for not just students but also top employers who get a supply of amazing talents. When we hear about top universities, the first thing that comes to mind is their academic rigor, prestigious reputation, and highly successful alumni. However, society at large is not just represented by a few elite universities, but several others. We have seen several examples where many, even without formal education, built big businesses. There are various instances in which several people, however talented, couldn't make it to top elite universities because of several resource constraints. For recruitment of candidates, we do see candidates from a few elite universities well represented in top technology companies. However, we found during our study that LLMs go overboard in representing that. This study investigates whether popular LLMs exhibit bias towards elite universities when generating personas for technology industry professionals. We employed a novel persona-based approach to compare the educational background predictions of GPT-3.5, Gemini, and Claude 3 Sonnet with actual data from LinkedIn. The study focused on various roles at Microsoft, Meta, and Google, including VP Product, Director of Engineering, and Software Engineer. We generated 432 personas across the three LLMs and analyzed the frequency of elite universities (Stanford, MIT, UC Berkeley, and Harvard) in these personas compared to LinkedIn data. Results showed that LLMs significantly overrepresented elite universities, with 72.45% of generated personas featuring these institutions, compared to only 8.56% in the actual LinkedIn data. ChatGPT 3.5 exhibited the highest bias, followed by Claude Sonnet 3, while Gemini performed best. This research highlights the need to address educational bias in LLMs and suggests strategies for mitigating such biases in AI-driven recruitment processes.
• Abstract（参考訳）: エリート大学は、学生だけでなく、素晴らしい才能を身につけているトップ雇用主にとっても、夢の目的地だ。 トップクラスの大学について聞くと、まず最初に思い浮かぶのは、その学術的厳格さ、名声、そして非常に成功した卒業生だ。 しかし、社会全体は一部のエリート大学に代表されるだけでなく、いくつかの大学に代表される。 正式な教育を受けなくても、大企業を設立する例はいくつかあります。 有能な人でも、資源の制約がいくつかあるため、上位のエリート大学には行けない例は様々である。 候補者を募集するためには、トップテック企業でよく代表されるいくつかのエリート大学の候補者を見る。 しかし、我々の研究で、LSMはそれを表現するためにオーバーボードしていることがわかった。 本研究は,技術系専門職にペルソナを産み出す際に,一般のLLMがエリート大学に偏見を呈するかどうかを考察する。 我々は、GPT-3.5、Gemini、Claude 3 Sonnetの教育的背景予測とLinkedInの実際のデータを比較するために、新しいペルソナベースのアプローチを採用した。 この調査では、Microsoft、Meta、Googleのさまざまな役割に焦点が当てられ、製品担当副社長、エンジニアリングディレクタ、ソフトウェアエンジニアなどが含まれていた。 我々は3つのLSMで432のペルソナを生成し、LinkedInのデータと比較し、これらのペルソナの中でエリート大学(スタンフォード、MIT、UCバークレー、ハーバード大学)の頻度を分析した。 その結果、LLMはエリート大学を著しく超越しており、これらの機関を特徴とする人格は72.45%であり、実際のLinkedInのデータでは8.56%に過ぎなかった。 ChatGPT 3.5は最も高いバイアスを示し、続いてClaude Sonnet 3が続いた。 この研究は、LLMにおける教育バイアスに対処する必要性を強調し、AIによる採用プロセスにおけるそのようなバイアスを軽減するための戦略を提案する。

関連論文リスト

• Desert Camels and Oil Sheikhs: Arab-Centric Red Teaming of Frontier LLMs [15.432107289828194]
  大規模言語モデル(LLM)は広く使われているが、社会的バイアスが組み込まれているため倫理的懸念が高まる。 本研究では、女性の権利、テロリズム、反ユダヤ主義を含む8つの領域にわたるアラブ人と西洋人に対するLCMバイアスについて検討する。 GPT-4, GPT-4o, LlaMA 3.1 (8Bおよび405B), Mistral 7B, Claude 3.5 Sonnetの6つのLCMを評価した。
  論文  参考訳（メタデータ） (2024-10-31T15:45:23Z)
• Nigerian Software Engineer or American Data Scientist? GitHub Profile Recruitment Bias in Large Language Models [9.040645392561196]
  私たちはOpenAIのChatGPTを使って、4つのリージョンからGitHub User Profileを使って6人のソフトウェア開発チームを募集しています。 結果から,ChatGPTは2つのプロファイルの位置情報文字列をスワップしても,他のリージョンよりも好みを示すことがわかった。 ChatGPTは特定の国のユーザに特定の開発者ロールを割り当てる傾向があり、暗黙の偏見が浮かび上がっていた。
  論文  参考訳（メタデータ） (2024-09-19T08:04:30Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
  LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
  論文  参考訳（メタデータ） (2023-12-11T17:39:00Z)
• Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
  LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。 本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
  論文  参考訳（メタデータ） (2023-11-08T18:52:17Z)
• Are Emily and Greg Still More Employable than Lakisha and Jamal? Investigating Algorithmic Hiring Bias in the Era of ChatGPT [24.496590819263865]
  GPT-3.5、Bard、Claudeといった大規模言語モデル(LLM)は、様々なタスクに適用可能である。 本研究では,(1)履歴書と職種とのマッチング,(2)履歴書と雇用関連情報との要約の2つの課題についてLCMを評価した。 総じて、LSMは人種や性別で頑丈であり、妊娠状態や政治的親戚関係におけるパフォーマンスが異なる。
  論文  参考訳（メタデータ） (2023-10-08T12:08:48Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。