論文の概要: SocioEval: A Template-Based Framework for Evaluating Socioeconomic Status Bias in Foundation Models

• arxiv url: http://arxiv.org/abs/2604.02660v1
• Date: Fri, 03 Apr 2026 02:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.290981
• Title: SocioEval: A Template-Based Framework for Evaluating Socioeconomic Status Bias in Foundation Models
• Title（参考訳）: SocioEval:基礎モデルにおける社会経済状態バイアス評価のためのテンプレートベースのフレームワーク
• Authors: Divyanshu Kumar, Ishita Gupta, Nitin Aravind Birur, Tanay Baswa, Sahil Agarwal, Prashanth Harshangi,
• Abstract要約: 意思決定タスクを通じて基礎モデルの社会経済的バイアスを評価するためのテンプレートベースのフレームワークであるSocioEvalを紹介する。 以上の結果から, ライフスタイル判断のテーマによって, 教育関連判断よりも10ドル以上高いバイアスが生じることが明らかとなった。 SocioEvalは、言語モデルにおけるクラスベースのバイアスを監査するためのスケーラブルな基盤を提供する。
• 参考スコア（独自算出の注目度）: 0.19703625025720697
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As Large Language Models (LLMs) increasingly power decision-making systems across critical domains, understanding and mitigating their biases becomes essential for responsible AI deployment. Although bias assessment frameworks have proliferated for attributes such as race and gender, socioeconomic status bias remains significantly underexplored despite its widespread implications in the real world. We introduce SocioEval, a template-based framework for systematically evaluating socioeconomic bias in foundation models through decision-making tasks. Our hierarchical framework encompasses 8 themes and 18 topics, generating 240 prompts across 6 class-pair combinations. We evaluated 13 frontier LLMs on 3,120 responses using a rigorous three-stage annotation protocol, revealing substantial variation in bias rates (0.42\%-33.75\%). Our findings demonstrate that bias manifests differently across themes lifestyle judgments show 10$\times$ higher bias than education-related decisions and that deployment safeguards effectively prevent explicit discrimination but show brittleness to domain-specific stereotypes. SocioEval provides a scalable, extensible foundation for auditing class-based bias in language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)が重要なドメインをまたいだ意思決定システムを強化するにつれ、AIデプロイメントの責任を負う上で、バイアスの理解と緩和が不可欠になる。 人種や性別などの属性に対する偏見評価の枠組みは広まっているが、社会経済的地位の偏見は、現実世界に広く影響しているにもかかわらず、明らかに過小評価されている。 意思決定タスクを通じて基礎モデルの社会経済的バイアスを体系的に評価するテンプレートベースのフレームワークであるSocioEvalを紹介する。 階層的なフレームワークは8つのテーマと18のトピックを含み、6つのクラスペアの組み合わせで240のプロンプトを生成します。 厳密な3段階アノテーションプロトコルを用いて,13個のフロンティアLCMを3120の応答で評価し,バイアス率 (0.42\%-33.75\%) の有意な変動を明らかにした。 以上の結果から, 生活習慣判断において, 教育関連判断よりも10ドル以上高い偏見が示され, デプロイセーフガードは明白な差別を効果的に防ぐが, ドメイン固有のステレオタイプに脆さを示すことが示唆された。 SocioEvalは、言語モデルにおけるクラスベースのバイアスを監査するためのスケーラブルで拡張可能な基盤を提供する。

関連論文リスト

• The Bias is in the Details: An Assessment of Cognitive Bias in LLMs [1.9651471153360769]
  大規模言語モデル(LLM)は、現実の意思決定プロセスにますます組み込まれています。 本稿では,45LLMにおける8つの認知バイアスの大規模評価について述べる。 モデルサイズと迅速な特異性の両方がバイアス感受性に重要な役割を果たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-26T19:09:42Z)
• MIST: Towards Multi-dimensional Implicit BiaS Evaluation of LLMs via Theory of Mind [27.209638457499427]
  大規模言語モデル(LLM)における心の理論 (ToM) とは、精神状態の推論能力を指す。 本稿では,Streotype Content Model (SCM) を応用して,能力,社会性,モラルの多次元的障害としてバイアスを再認識する評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-17T03:50:57Z)
• The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models [91.86718720024825]
  我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。 以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。 DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
  論文  参考訳（メタデータ） (2024-11-06T06:50:50Z)
• Investigating Implicit Bias in Large Language Models: A Large-Scale Study of Over 50 LLMs [0.0]
  大規模言語モデル(LLM)は幅広いタスクで採用されている。 最近の研究では、LLMは明示的な偏見評価をパスしても暗黙の偏見を抑えることができることが示されている。 この研究は、新しい言語モデルやより大きな言語モデルが自動的にバイアスを減らさないことを強調している。
  論文  参考訳（メタデータ） (2024-10-13T03:43:18Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• Understanding Intrinsic Socioeconomic Biases in Large Language Models [4.276697874428501]
  本稿では,社会経済的バイアスを定量化するために,100万の英語文からなる新しいデータセットを提案する。 以上の結果から,GPT-2のような確立されたモデルと,Llama 2やFalconのような最先端のモデルの両方において,社会経済的バイアスが広範にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-28T23:54:44Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。