論文の概要: Evaluating LLMs for Demographic-Targeted Social Bias Detection: A Comprehensive Benchmark Study

• arxiv url: http://arxiv.org/abs/2510.04641v2
• Date: Mon, 13 Oct 2025 15:04:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:09.742038
• Title: Evaluating LLMs for Demographic-Targeted Social Bias Detection: A Comprehensive Benchmark Study
• Title（参考訳）: 復刻型社会バイアス検出のためのLCMの評価 : 総合的ベンチマークによる検討
• Authors: Ayan Majumdar, Feihao Chen, Jinghui Li, Xiaozhen Wang,
• Abstract要約: 汎用AIモデルのトレーニングに使用される大規模なウェブスクレイプテキストコーパスは、しばしば有害な人口統計学的対象の社会的バイアスを含んでいる。 本稿では、人口統計学的対象の社会的偏見を検出するためのLCMの能力を評価するための、英語テキストを対象とした総合的な評価フレームワークを提案する。 次に,学習の促進,文脈内学習,微調整など,スケールとテクニックをまたいだモデルを用いて,体系的な評価を行う。
• 参考スコア（独自算出の注目度）: 1.6682715542079583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale web-scraped text corpora used to train general-purpose AI models often contain harmful demographic-targeted social biases, creating a regulatory need for data auditing and developing scalable bias-detection methods. Although prior work has investigated biases in text datasets and related detection methods, these studies remain narrow in scope. They typically focus on a single content type (e.g., hate speech), cover limited demographic axes, overlook biases affecting multiple demographics simultaneously, and analyze limited techniques. Consequently, practitioners lack a holistic understanding of the strengths and limitations of recent large language models (LLMs) for automated bias detection. In this study, we present a comprehensive evaluation framework aimed at English texts to assess the ability of LLMs in detecting demographic-targeted social biases. To align with regulatory requirements, we frame bias detection as a multi-label task using a demographic-focused taxonomy. We then conduct a systematic evaluation with models across scales and techniques, including prompting, in-context learning, and fine-tuning. Using twelve datasets spanning diverse content types and demographics, our study demonstrates the promise of fine-tuned smaller models for scalable detection. However, our analyses also expose persistent gaps across demographic axes and multi-demographic targeted biases, underscoring the need for more effective and scalable auditing frameworks.
• Abstract（参考訳）: 汎用AIモデルのトレーニングに使用される大規模なWebスクレイプテキストコーパスは、しばしば有害な人口統計学的対象の社会的バイアスを含んでおり、データ監査とスケーラブルなバイアス検出方法の開発に対する規制の必要性を生み出している。 先行研究はテキストデータセットと関連する検出方法のバイアスを調査してきたが、これらの研究は範囲が狭いままである。 彼らは通常、単一のコンテンツタイプ(例えばヘイトスピーチ)に焦点を当て、限られた人口動態をカバーし、複数の人口動態に影響を与えるバイアスを見落とし、限られたテクニックを分析する。 その結果、実践者は、自動バイアス検出のための最近の大規模言語モデル(LLM)の長所と短所の全体的理解を欠いている。 本研究では、人口統計学的対象の社会的偏見を検出するためのLCMの能力を評価するために、英文を対象とした総合的な評価フレームワークを提案する。 規制要件と整合するために、人口統計に焦点を当てた分類法を用いて、偏見検出を多ラベルタスクとする。 次に,学習の促進,文脈内学習,微調整など,スケールとテクニックをまたいだモデルを用いて,体系的な評価を行う。 多様なコンテンツタイプと人口層にまたがる12のデータセットを用いて、我々は、スケーラブルな検出のための微調整された小さなモデルの実現を実証した。 しかし、我々の分析では、人口統計軸とマルチデデノグラフィー対象バイアスの間に永続的なギャップがあることも示しており、より効果的でスケーラブルな監査フレームワークの必要性を強調している。

関連論文リスト

• Interpretable Debiasing of Vision-Language Models for Social Fairness [55.85977929985967]
  本稿では,視覚・言語モデルに社会的属性ニューロンを局在させる,解釈可能なモデルに依存しないバイアス緩和フレームワークDeBiasLensを紹介する。 社会属性ラベルを含まない顔画像やキャプションデータセットでSAEを訓練し、特定の人口動態に高い応答性を持つニューロンを明らかにする。 我々の研究は、未来の監査ツールの基礎を築き、新興の現実世界のAIシステムにおける社会的公正性を優先します。
  論文  参考訳（メタデータ） (2026-02-27T13:37:11Z)
• A Comprehensive Study of Implicit and Explicit Biases in Large Language Models [1.0555164678638427]
  この研究は、生成的AIが増大する中で、大規模言語モデルにおけるバイアスに対処する必要があることを強調する。 我々は, StereoSet や CrowSPairs などのバイアス特異的ベンチマークを用いて,BERT や GPT 3.5 といった複数の生成モデルにおける様々なバイアスの存在を評価する。 その結果、微調整されたモデルでは性別バイアスに悩まされるが、人種バイアスの特定と回避には優れていた。
  論文  参考訳（メタデータ） (2025-11-18T05:27:17Z)
• Addressing Bias in LLMs: Strategies and Application to Fair AI-based Recruitment [49.81946749379338]
  この研究は、トランスフォーマーベースのシステムの能力を分析して、データに存在する人口統計バイアスを学習する。 最終ツールにおける偏りを緩和する手段として,学習パイプラインからの性別情報を削減するためのプライバシー向上フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T15:29:43Z)
• Fine-Grained Bias Detection in LLM: Enhancing detection mechanisms for nuanced biases [0.0]
  本研究では,Large Language Models (LLMs) におけるニュアンスバイアス検出フレームワークを提案する。 このアプローチは、コンテキスト分析、注意機構による解釈可能性、および反ファクトデータ拡張を統合して、隠れたバイアスをキャプチャする。 その結果,従来の方法に比べて微妙な偏見の検出精度が向上した。
  論文  参考訳（メタデータ） (2025-03-08T04:43:01Z)
• Leveraging Prototypical Representations for Mitigating Social Bias without Demographic Information [50.29934517930506]
  DAFairは、言語モデルにおける社会的バイアスに対処する新しいアプローチである。 偏見を緩和するために、原型的人口統計テキストを活用し、微調整プロセス中に正規化用語を取り入れる。
  論文  参考訳（メタデータ） (2024-03-14T15:58:36Z)
• ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
  異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。 我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
  論文  参考訳（メタデータ） (2023-11-29T23:03:04Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Metrics for Dataset Demographic Bias: A Case Study on Facial Expression Recognition [4.336779198334903]
  人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。 我々はこれらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。 この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-28T11:04:18Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。