論文の概要: Evaluation of LLMs Biases Towards Elite Universities: A Persona-Based Exploration
- arxiv url: http://arxiv.org/abs/2407.12801v3
- Date: Sat, 27 Jul 2024 06:36:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 20:41:58.199578
- Title: Evaluation of LLMs Biases Towards Elite Universities: A Persona-Based Exploration
- Title(参考訳): エリート大学へのLCMのバイアス評価--ペルソナによる探究
- Authors: Shailja Gupta, Rajesh Ranjan,
- Abstract要約: この調査は、Microsoft、Meta、Googleの製品担当VP、エンジニアリング担当ディレクター、ソフトウェアエンジニアなど、さまざまな役割に焦点を当てた。
我々は、GPT-3.5、Gemini、Claude 3 Sonnetの教育的背景予測とLinkedInの実際のデータを比較するために、新しいペルソナベースのアプローチを採用した。
その結果、LLMはLinkedInのデータで8.56%しかなかったのに対し、これらの大学の72.45%を特徴とするエリート大学を著しく上回っていることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study investigates whether popular LLMs exhibit bias towards elite universities when generating personas for technology industry professionals. We employed a novel persona-based approach to compare the educational background predictions of GPT-3.5, Gemini, and Claude 3 Sonnet with actual data from LinkedIn. The study focused on various roles at Microsoft, Meta, and Google, including VP Product, Director of Engineering, and Software Engineer. We generated 432 personas across the three LLMs and analyzed the frequency of elite universities (Stanford, MIT, UC Berkeley, and Harvard) in these personas compared to LinkedIn data. Results showed that LLMs significantly overrepresented elite universities, featuring these universities 72.45% of the time, compared to only 8.56% in the actual LinkedIn data. ChatGPT 3.5 exhibited the highest bias, followed by Claude Sonnet 3, while Gemini performed best. This research highlights the need to address educational bias in LLMs and suggests strategies for mitigating such biases in AI-driven recruitment processes.
- Abstract(参考訳): 本研究は,技術系専門職にペルソナを産み出す際に,一般のLLMがエリート大学に偏見を呈するかどうかを考察する。
我々は、GPT-3.5、Gemini、Claude 3 Sonnetの教育的背景予測とLinkedInの実際のデータを比較するために、新しいペルソナベースのアプローチを採用した。
この調査では、Microsoft、Meta、Googleのさまざまな役割に焦点が当てられ、製品担当副社長、エンジニアリングディレクタ、ソフトウェアエンジニアなどが含まれていた。
我々は3つのLSMで432のペルソナを生成し、LinkedInのデータと比較し、これらのペルソナの中でエリート大学(スタンフォード、MIT、UCバークレー、ハーバード大学)の頻度を分析した。
その結果、LLMはLinkedInのデータで8.56%しかなかったのに対し、これらの大学の72.45%を特徴とするエリート大学を著しく上回っていることがわかった。
ChatGPT 3.5は最も高いバイアスを示し、続いてClaude Sonnet 3が続いた。
この研究は、LLMにおける教育バイアスに対処する必要性を強調し、AIによる採用プロセスにおけるそのようなバイアスを軽減するための戦略を提案する。
関連論文リスト
- SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading [100.02175403852253]
LLM(Large Language Models)の一般的な用途は、科学的トピックに関するタスクを実行することである。
そこで本稿では,大学生のこのような課題に対する評価方法に着想を得たSciExを提案する。
我々は,新しいベンチマークを用いて,最先端のLLMの性能評価を行った。
論文 参考訳(メタデータ) (2024-06-14T21:52:21Z) - Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。
我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。
我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
論文 参考訳(メタデータ) (2024-02-18T03:10:39Z) - Beyond Self-Promotion: How Software Engineering Research Is Discussed on
LinkedIn [10.174594209898743]
我々は、ソフトウェアエンジニアリング(SE)実践者と研究者がLinkedInの公開ディスカッションを通じてどのように互いにアプローチするかを検討する。
私たちは、SE研究に関するLinkedInの記事のかなりの部分は、論文執筆者ではない人々によって書かれたものであることに気付きました。
我々は、LinkedInの新たな研究成果をもっと実りあるものにするために、研究者や実践者に対して具体的なアドバイスを定式化します。
論文 参考訳(メタデータ) (2024-01-04T13:38:51Z) - LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。
LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
論文 参考訳(メタデータ) (2023-12-11T17:39:00Z) - Bias Runs Deep: Implicit Reasoning Biases in Persona-Assigned LLMs [67.51906565969227]
LLMの基本的な推論タスクの実行能力に対するペルソナ代入の意図しない副作用について検討する。
本研究は,5つの社会デコグラフィーグループにまたがる24の推論データセット,4つのLDM,19の多様な個人(アジア人など)について検討した。
論文 参考訳(メタデータ) (2023-11-08T18:52:17Z) - Forecasting Success of Computer Science Professors and Students Based on
Their Academic and Personal Backgrounds [0.0]
北米の高名な大学に入学する機会に対する学生の過去の大学の影響を分析した。
以上の結果から,従来の大学ランキングが目標達成の重要な要因であることが示唆された。
論文 参考訳(メタデータ) (2023-11-04T18:30:24Z) - Is ChatGPT Good at Search? Investigating Large Language Models as
Re-Ranking Agents [56.104476412839944]
大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。
本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。
LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。
実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
論文 参考訳(メタデータ) (2023-04-19T10:16:03Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳(メタデータ) (2023-04-12T17:33:28Z) - Measuring University Impact: Wikipedia approach [1.7894318579694353]
大学生のウィキペディアページの人気に基づいて,大学が与える影響を評価する新しい方法論について論じる。
予備分析の結果,このアプローチの視点を証明する現代人の方がページビュー数が高いことがわかった。
卒業生の人気に基づくランキングは、ウィキペディアのウェブページの人気に基づく大学のランキングと比較された。
論文 参考訳(メタデータ) (2020-12-27T17:41:56Z) - The De-democratization of AI: Deep Learning and the Compute Divide in
Artificial Intelligence Research [0.2855485723554975]
大手テクノロジー企業やエリート大学は、2012年のディープラーニングの予期せぬ増加以来、主要なAIカンファレンスへの参加を増やしている。
この効果は、QS世界大学ランキングで1-50位にランクされているエリート大学に集中している。
このAI研究における企業やエリート大学の存在の増加は、中層(QSが201-300位)と下層(QSが301-500位)の大学が混在している。
論文 参考訳(メタデータ) (2020-10-22T15:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。