論文の概要: LLMs are Biased Teachers: Evaluating LLM Bias in Personalized Education

• arxiv url: http://arxiv.org/abs/2410.14012v1
• Date: Thu, 17 Oct 2024 20:27:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:27:17.108391
• Title: LLMs are Biased Teachers: Evaluating LLM Bias in Personalized Education
• Title（参考訳）: LLMはバイアスのある教師である:パーソナライズド教育におけるLLMバイアスの評価
• Authors: Iain Weissburg, Sathvika Anand, Sharon Levy, Haewon Jeong,
• Abstract要約: パーソナライズされた教育環境において,大きな言語モデル(LLM)をバイアスとして評価する。 我々は、異なる人口集団に合わせた教育コンテンツをモデルが生成し、選択する方法について、重大なバイアスを明らかにした。
• 参考スコア（独自算出の注目度）: 6.354025374447606
• License:
• Abstract: With the increasing adoption of large language models (LLMs) in education, concerns about inherent biases in these models have gained prominence. We evaluate LLMs for bias in the personalized educational setting, specifically focusing on the models' roles as "teachers". We reveal significant biases in how models generate and select educational content tailored to different demographic groups, including race, ethnicity, sex, gender, disability status, income, and national origin. We introduce and apply two bias score metrics--Mean Absolute Bias (MAB) and Maximum Difference Bias (MDB)--to analyze 9 open and closed state-of-the-art LLMs. Our experiments, which utilize over 17,000 educational explanations across multiple difficulty levels and topics, uncover that models perpetuate both typical and inverted harmful stereotypes.
• Abstract（参考訳）: 教育における大規模言語モデル(LLM)の採用の増加に伴い、これらのモデルに固有のバイアスに関する懸念が高まっている。 パーソナライズされた教育環境におけるLLMのバイアスについて評価し,特に「教師」としてのモデルの役割に着目した。 我々は、モデルが人種、民族、性別、性別、障害状態、収入、民族起源など、異なる人口集団に合わせた教育コンテンツを生成し、選択する方法に大きなバイアスを明らかにした。 我々は,2つのバイアススコア,すなわちMAB(Mean Absolute Bias)とMDB(Maximum Difference Bias)を導入し,9つのオープンかつクローズドなLCMを解析する。 複数の難易度とトピックにわたる17,000以上の教育的説明を利用する実験により、モデルが典型的および逆の有害なステレオタイプの両方を永続していることが判明した。

関連論文リスト

• Bias Similarity Across Large Language Models [32.0365189539138]
  機械学習モデルのバイアスは慢性的な問題である。 オープンソースとクローズドな10のLarge Language Modelを包括的に見ていきます。 モデル間のバイアスがどのように現れるかを理解するために、機能的類似度を測定します。
  論文  参考訳（メタデータ） (2024-10-15T19:21:14Z)
• Unboxing Occupational Bias: Grounded Debiasing of LLMs with U.S. Labor Data [9.90951705988724]
  大規模言語モデル(LLM)は、社会的バイアスを継承し増幅する傾向がある。 LLMバイアスは、不公平な慣行をもたらし、社会的不平等を悪化させる。
  論文  参考訳（メタデータ） (2024-08-20T23:54:26Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  VLBiasBenchは、LVLM(Large Vision-Language Models)におけるバイアスの評価を目的としたベンチマークである。 我々は、年齢、障害状態、性別、国籍、身体的外観、人種、宗教、職業、社会的経済状態、および2つの交叉バイアスカテゴリー(人種x性、人種x社会経済状態)を含む9つの異なる社会バイアスカテゴリーを含むデータセットを構築した。 15のオープンソースモデルと1つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルから明らかになったバイアスに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement [75.7148545929689]
  大規模言語モデル(LLM)は、特定のタスクの自己フィードバックを通じてパフォーマンスを向上し、他のタスクを劣化させる。 我々は、LSMの自己バイアス(自称世代を好む傾向)を正式に定義する。 我々は、翻訳、制約付きテキスト生成、数学的推論の6つのLCMを解析する。
  論文  参考訳（メタデータ） (2024-02-18T03:10:39Z)
• Large Language Models are Geographically Biased [47.88767211956144]
  我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。 我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
  論文  参考訳（メタデータ） (2024-02-05T02:32:09Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Investigating Subtler Biases in LLMs: Ageism, Beauty, Institutional, and Nationality Bias in Generative Models [0.0]
  本稿では, 年齢や美しさなど, 研究の少ない, 連続的な, 次元に沿ったバイアスについて検討する。 実験心理学において, LLMは, 特定の社会集団に対して, 肯定的, 否定的感情の偏見を広く抱いているか, あるいは「美しいものは良い」バイアスと類似しているかを問う。
  論文  参考訳（メタデータ） (2023-09-16T07:07:04Z)
• Gender bias and stereotypes in Large Language Models [0.6882042556551611]
  本稿では,ジェンダーステレオタイプに関する大規模言語モデルの振る舞いについて考察する。 我々は、WinoBiasとは違って、性別バイアスの存在をテストするための単純なパラダイムを用いています。 a) LLMは、人の性別とステレオタイプ的に一致した職業を選択する確率が3～6倍、(b) これらの選択は、公務員の統計に反映された基礎的真実よりも人々の知覚に適合し、(d) LLMは、我々の研究項目の95%の時間において重要な曖昧さを無視する。
  論文  参考訳（メタデータ） (2023-08-28T22:32:05Z)
• The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations [5.898806397015801]
  大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。 本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。 両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
  論文  参考訳（メタデータ） (2023-08-03T21:12:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。