論文の概要: Evaluation of LLMs Biases Towards Elite Universities: A Persona-Based Exploration

• arxiv url: http://arxiv.org/abs/2407.12801v1
• Date: Mon, 24 Jun 2024 04:09:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 08:57:39.448231
• Title: Evaluation of LLMs Biases Towards Elite Universities: A Persona-Based Exploration
• Title（参考訳）: エリート大学へのLCMのバイアス評価--ペルソナによる探究
• Authors: Shailja Gupta, Rajesh Ranjan,
• Abstract要約: 我々の研究は、LLMがスタンフォード大学、ハーバード大学、カリフォルニア大学、バークレー大学、MITなどのエリート系大学に偏っているかどうかを調査した。 我々は、GPT-3.5、Gemini、Claude 3 Sonnetの製品担当副社長、製品担当ディレクター、プロダクトマネージャ、エンジニアリング担当副社長、エンジニアリング担当ディレクター、Microsoft、Meta、Googleのソフトウェアエンジニアといった職種に関する予測を調査した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Elite universities are a dream destination for not just students but also top employers who get a supply of amazing talents. When we hear about top universities, the first thing that comes to mind is their academic rigor, prestigious reputation, and highly successful alumni. However, society at large is not just represented by a few elite universities, but several others. We have seen several examples where many, even without formal education, built big businesses. There are various instances in which several people, however talented, couldn't make it to top elite universities because of several resource constraints. For recruitment of candidates, we do see candidates from a few elite universities well represented in top technology companies. However, we found during our study that LLMs go overboard in representing that. Why is it a problem, though? LLMs are now becoming mainstream and may play a role in evaluating candidates' relevance in the recruitment process across industries. Our study investigates whether LLMs are biased toward Elite universities like Stanford University, Harvard University, University of California, Berkley, and MIT. Our research compares the performance of three popular large language models by adopting a novel persona-based approach and compares the predicted educational backgrounds of professionals in the technology industry with actual data collected from LinkedIn. Specifically, we examined GPT-3.5, Gemini, and Claude 3 Sonnet predictions for job positions such as VP Product, Director of Product, Product Manager, VP Engineering, Director of Engineering, and Software Engineer at Microsoft, Meta, and Google. We noticed biases in LLMs' prediction of educational backgrounds. We are confident that our research will propel the study of LLM biases and our suggested strategies could mitigate biases in LLM-based use cases and applications.
• Abstract（参考訳）: エリート大学は、学生だけでなく、素晴らしい才能を身につけているトップ雇用主にとっても、夢の目的地だ。 トップクラスの大学について聞くと、まず最初に思い浮かぶのは、その学術的厳格さ、名声、そして非常に成功した卒業生だ。 しかし、社会全体は一部のエリート大学に代表されるだけでなく、いくつかの大学に代表される。 正式な教育を受けなくても、大企業を設立する例はいくつかあります。 有能な人でも、資源の制約がいくつかあるため、上位のエリート大学には行けない例は様々である。 候補者を募集するためには、トップテック企業でよく代表されるいくつかのエリート大学の候補者を見る。 しかし、我々の研究で、LSMはそれを表現するためにオーバーボードしていることがわかった。 なぜ問題なのか? LLMは今や主流となり、業界全体の採用プロセスにおける候補者の関連性を評価する役割を担っている。 我々の研究は、LLMがスタンフォード大学、ハーバード大学、カリフォルニア大学、バークレー大学、MITなどのエリート系大学に偏っているかどうかを調査した。 本研究は、新しいペルソナベースのアプローチを採用することで、3つのポピュラーな大規模言語モデルの性能を比較し、テクノロジー業界のプロフェッショナルの予測的背景と、LinkedInから収集された実際のデータを比較した。 具体的には、GPT-3.5、Gemini、Claude 3 Sonnetの製品担当副社長、製品担当ディレクター、プロダクトマネージャ、エンジニアリング担当副社長、エンジニアリング担当ディレクター、Microsoft、Meta、Googleのソフトウェアエンジニアといった職種について、GPT-3.5、Claude 3 Sonnetの予測を調査した。 LLMの教育的背景の予測には偏りが認められた。 我々の研究はLLMバイアスの研究を促進すると確信しており、提案した戦略はLLMベースのユースケースや応用におけるバイアスを軽減することができる。

関連論文リスト

• Desert Camels and Oil Sheikhs: Arab-Centric Red Teaming of Frontier LLMs [15.432107289828194]
  大規模言語モデル(LLM)は広く使われているが、社会的バイアスが組み込まれているため倫理的懸念が高まる。 本研究では、女性の権利、テロリズム、反ユダヤ主義を含む8つの領域にわたるアラブ人と西洋人に対するLCMバイアスについて検討する。 GPT-4, GPT-4o, LlaMA 3.1 (8Bおよび405B), Mistral 7B, Claude 3.5 Sonnetの6つのLCMを評価した。
  論文  参考訳（メタデータ） (2024-10-31T15:45:23Z)
• Nigerian Software Engineer or American Data Scientist? GitHub Profile Recruitment Bias in Large Language Models [9.040645392561196]
  私たちはOpenAIのChatGPTを使って、4つのリージョンからGitHub User Profileを使って6人のソフトウェア開発チームを募集しています。 結果から,ChatGPTは2つのプロファイルの位置情報文字列をスワップしても,他のリージョンよりも好みを示すことがわかった。 ChatGPTは特定の国のユーザに特定の開発者ロールを割り当てる傾向があり、暗黙の偏見が浮かび上がっていた。
  論文  参考訳（メタデータ） (2024-09-19T08:04:30Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
  LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
  論文  参考訳（メタデータ） (2023-12-11T17:39:00Z)
• Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
  LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。 本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
  論文  参考訳（メタデータ） (2023-11-08T18:52:17Z)
• Are Emily and Greg Still More Employable than Lakisha and Jamal? Investigating Algorithmic Hiring Bias in the Era of ChatGPT [24.496590819263865]
  GPT-3.5、Bard、Claudeといった大規模言語モデル(LLM)は、様々なタスクに適用可能である。 本研究では,(1)履歴書と職種とのマッチング,(2)履歴書と雇用関連情報との要約の2つの課題についてLCMを評価した。 総じて、LSMは人種や性別で頑丈であり、妊娠状態や政治的親戚関係におけるパフォーマンスが異なる。
  論文  参考訳（メタデータ） (2023-10-08T12:08:48Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。