Fugu-MT 論文翻訳(概要): Dissecting Bias of ChatGPT in College Major Recommendations

論文の概要: Dissecting Bias of ChatGPT in College Major Recommendations

arxiv url: http://arxiv.org/abs/2401.11699v1
Date: Mon, 18 Dec 2023 02:33:53 GMT
ステータス: 処理完了
システム内更新日: 2024-02-11 17:42:36.488799
Title: Dissecting Bias of ChatGPT in College Major Recommendations
Title（参考訳）: 主な勧告におけるChatGPTの解離バイアス
Authors: Alex Zheng
Abstract要約: 様々なプロファイルを持つ学生に対するChatGPTの大学推薦に関するバイアスについて検討した。 Jaccard Coefficient、Wasserstein Metric、STEM Disparity Scoreなど、さまざまなメトリクスを用いてバイアスを評価します。本研究の結果は, 偏りの指標によらず, 推奨校長数に有意差が認められた。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: I investigate bias in terms of ChatGPT's college major recommendations for students with various profiles, looking at demographic disparities in factors such as race, gender, and socioeconomic status, as well as educational disparities such as score percentiles. By constructing prompts for the ChatGPT API, allowing the model to recommend majors based on high school student profiles, I evaluate bias using various metrics, including the Jaccard Coefficient, Wasserstein Metric, and STEM Disparity Score. The results of this study reveal a significant disparity in the set of recommended college majors, irrespective of the bias metric applied.
Abstract（参考訳）: 本研究は,ChatGPTの大学における様々なプロファイルを持つ学生に対する推奨事項のバイアス,人種,性別,社会経済的地位などの要因の人口格差,スコアパーセンタイルなどの教育格差について検討する。 ChatGPT APIのプロンプトを構築して、高校生のプロフィールに基づいてメジャーを推薦することで、Jaccard Coefficient、Wasserstein Metric、STEM Disparity Scoreといったさまざまな指標を用いてバイアスを評価します。本研究の結果は, バイアス計量が適用されているにもかかわらず, 推薦大学専攻者の集団に有意な差が認められた。

関連論文リスト

Assessing instructor-AI cooperation for grading essay-type questions in an introductory sociology course [0.0]
生成前学習型トランスフォーマー(GPT)モデルの性能評価を行った。グレードリングでは,GPTがヒトのグレードラースコアと強い相関を示し,特にテンプレート回答が提供された。この研究は、教育におけるAIに関する文献の増大に寄与し、エッセイ型質問の質と効率を高める可能性を示す。
論文参考訳（メタデータ） (2025-01-11T07:18:12Z)
Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics [47.762333925222926]
本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。顔認識システムの運用評価に焦点をあて,適用する。
論文参考訳（メタデータ） (2024-09-03T14:19:38Z)
Evaluation of Large Language Models: STEM education and Gender Stereotypes [2.1600200859609178]
本稿では,大規模言語モデル(LLM)におけるジェンダーバイアスについて,オープンエンドな実験設計と定量的分析により検討する。その結果,STEM と非STEM の比率は,チャットGPT が提供した教育パスに大きく差があることがわかった。
論文参考訳（メタデータ） (2024-06-14T15:42:42Z)
Semantic Properties of cosine based bias scores for word embeddings [48.0753688775574]
本稿では,バイアスの定量化に有効なバイアススコアの要件を提案する。これらの要件について,コサインに基づくスコアを文献から分析する。これらの結果は、バイアススコアの制限がアプリケーションケースに影響を及ぼすことを示す実験で裏付けられている。
論文参考訳（メタデータ） (2024-01-27T20:31:10Z)
Can ChatGPT Play the Role of a Teaching Assistant in an Introductory Programming Course? [1.8197265299982013]
本稿では,LLM である ChatGPT をプログラミング入門コースで仮想指導アシスタント (TA) として活用する可能性について検討する。本研究は,ChatGPTの性能をヒトTAの機能と比較することにより評価する。
論文参考訳（メタデータ） (2023-12-12T15:06:44Z)
Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-29T07:41:03Z)
Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文参考訳（メタデータ） (2023-05-24T04:27:40Z)
Metrics for Dataset Demographic Bias: A Case Study on Facial Expression Recognition [4.336779198334903]
人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。我々はこれらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-03-28T11:04:18Z)
Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文参考訳（メタデータ） (2023-03-07T16:57:20Z)
Social Biases in Automatic Evaluation Metrics for NLG [53.76118154594404]
本稿では,単語埋め込みアソシエーションテスト(WEAT)と文埋め込みアソシエーションテスト(SEAT)に基づく評価手法を提案する。我々は、画像キャプションやテキスト要約タスクにおける性別バイアスの影響を調査するために、性別対応メタ評価データセットを構築した。
論文参考訳（メタデータ） (2022-10-17T08:55:26Z)
Reducing the Filtering Effect in Public School Admissions: A Bias-aware Analysis for Targeted Interventions [7.50215102665518]
DOEが「不利」と分類する学生の得点分布の変化が示される。集中的に計画された介入は、奨学金やトレーニングを通じてバイアスの影響を著しく低減できることを示す。
論文参考訳（メタデータ） (2020-04-22T20:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。