論文の概要: Dissecting Bias of ChatGPT in College Major Recommendations
- arxiv url: http://arxiv.org/abs/2401.11699v1
- Date: Mon, 18 Dec 2023 02:33:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-11 17:42:36.488799
- Title: Dissecting Bias of ChatGPT in College Major Recommendations
- Title(参考訳): 主な勧告におけるChatGPTの解離バイアス
- Authors: Alex Zheng
- Abstract要約: 様々なプロファイルを持つ学生に対するChatGPTの大学推薦に関するバイアスについて検討した。
Jaccard Coefficient、Wasserstein Metric、STEM Disparity Scoreなど、さまざまなメトリクスを用いてバイアスを評価します。
本研究の結果は, 偏りの指標によらず, 推奨校長数に有意差が認められた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: I investigate bias in terms of ChatGPT's college major recommendations for
students with various profiles, looking at demographic disparities in factors
such as race, gender, and socioeconomic status, as well as educational
disparities such as score percentiles. By constructing prompts for the ChatGPT
API, allowing the model to recommend majors based on high school student
profiles, I evaluate bias using various metrics, including the Jaccard
Coefficient, Wasserstein Metric, and STEM Disparity Score. The results of this
study reveal a significant disparity in the set of recommended college majors,
irrespective of the bias metric applied.
- Abstract(参考訳): 本研究は,ChatGPTの大学における様々なプロファイルを持つ学生に対する推奨事項のバイアス,人種,性別,社会経済的地位などの要因の人口格差,スコアパーセンタイルなどの教育格差について検討する。
ChatGPT APIのプロンプトを構築して、高校生のプロフィールに基づいてメジャーを推薦することで、Jaccard Coefficient、Wasserstein Metric、STEM Disparity Scoreといったさまざまな指標を用いてバイアスを評価します。
本研究の結果は, バイアス計量が適用されているにもかかわらず, 推薦大学専攻者の集団に有意な差が認められた。
関連論文リスト
- What's in a Name? Auditing Large Language Models for Race and Gender
Bias [49.28899492966893]
我々は、GPT-4を含む最先端の大規模言語モデルのバイアスを調査するために監査設計を採用する。
このアドバイスは、一般的に人種的マイノリティや女性に結びついている名前に系統的に不利であることがわかった。
論文 参考訳(メタデータ) (2024-02-21T18:25:25Z) - Semantic Properties of cosine based bias scores for word embeddings [52.13994416317707]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。
これらの要件について,コサインに基づくスコアを文献から分析する。
これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文 参考訳(メタデータ) (2024-01-27T20:31:10Z) - Can ChatGPT Play the Role of a Teaching Assistant in an Introductory
Programming Course? [1.8197265299982013]
本稿では,LLM である ChatGPT をプログラミング入門コースで仮想指導アシスタント (TA) として活用する可能性について検討する。
本研究は,ChatGPTの性能をヒトTAの機能と比較することにより評価する。
論文 参考訳(メタデータ) (2023-12-12T15:06:44Z) - Potential Societal Biases of ChatGPT in Higher Education: A Scoping
Review [12.63637807749908]
ChatGPTや他の生成人工知能(GAI)モデルは、一般的な社会的バイアスを継承し、増幅する傾向がある。
潜在的なバイアスのような倫理的問題を調べる必要がある。
論文 参考訳(メタデータ) (2023-11-24T10:00:23Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T07:41:03Z) - Metrics for Dataset Demographic Bias: A Case Study on Facial Expression
Recognition [1.5340540198612824]
人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。
我々はこれらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。
この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-03-28T11:04:18Z) - Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。
実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。
我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文 参考訳(メタデータ) (2023-03-07T16:57:20Z) - Inside the Black Box: Detecting and Mitigating Algorithmic Bias across
Racialized Groups in College Student-Success Prediction [0.0]
予測アルゴリズムは歴史的データに依存しているため、人種差別を含む社会的不正を捉えている。
人種的カテゴリーを含むモデルは、人種的にマイノリティ化された学生が好ましくない結果をもたらすと予測するかもしれない。
論文 参考訳(メタデータ) (2023-01-10T04:48:51Z) - Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。
我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文 参考訳(メタデータ) (2022-10-17T08:55:26Z) - The SAME score: Improved cosine based bias score for word embeddings [63.24247894974291]
文献の考えに基づくバイアス定義を提供し、バイアススコアの新たな要件を導出する。
既存のバイアススコアの欠点に対処し,単語埋め込みにおけるバイアスの定量化に好適であることを示す。
論文 参考訳(メタデータ) (2022-03-28T09:28:13Z) - Intersectional Affirmative Action Policies for Top-k Candidates
Selection [3.4961413413444817]
本研究では,トップk候補を応募者のプールから選抜する問題について検討する。
我々は,一部の候補者が歴史的かつ現在の不利を経験している状況を考える。
そこで本研究では,OECD国における学力評価と学士号取得のデータセットを用いて,この問題を解き,解析し,評価する2つのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-29T12:27:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。