論文の概要: PBBQ: A Persian Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.19616v1
• Date: Wed, 22 Oct 2025 14:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.917604
• Title: PBBQ: A Persian Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models
• Title（参考訳）: PBBQ: 大規模言語モデルのための人間-AIコラボレーションによるペルシアのバイアスベンチマークデータセット
• Authors: Farhan Farsi, Shayan Bali, Fatemeh Valeh, Parsa Ghofrani, Alireza Pakniat, Kian Kashfipour, Amir H. Payberah,
• Abstract要約: ペルシャ語モデルにおける社会的バイアスを評価するために設計されたベンチマークデータセットであるPSBQを紹介する。 PBBQデータセットには、慎重にキュレートされた質問が37,000以上含まれている。 以上の結果から,現在のLLMはペルシャ文化全体において有意な社会的偏見を示すことが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.3518016233072557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing adoption of large language models (LLMs), ensuring their alignment with social norms has become a critical concern. While prior research has examined bias detection in various languages, there remains a significant gap in resources addressing social biases within Persian cultural contexts. In this work, we introduce PBBQ, a comprehensive benchmark dataset designed to evaluate social biases in Persian LLMs. Our benchmark, which encompasses 16 cultural categories, was developed through questionnaires completed by 250 diverse individuals across multiple demographics, in close collaboration with social science experts to ensure its validity. The resulting PBBQ dataset contains over 37,000 carefully curated questions, providing a foundation for the evaluation and mitigation of bias in Persian language models. We benchmark several open-source LLMs, a closed-source model, and Persian-specific fine-tuned models on PBBQ. Our findings reveal that current LLMs exhibit significant social biases across Persian culture. Additionally, by comparing model outputs to human responses, we observe that LLMs often replicate human bias patterns, highlighting the complex interplay between learned representations and cultural stereotypes.Upon acceptance of the paper, our PBBQ dataset will be publicly available for use in future work. Content warning: This paper contains unsafe content.
• Abstract（参考訳）: 大規模言語モデル(LLM)の採用が増加し、社会規範との整合性を確保することが重要な関心事となっている。 以前の研究では、様々な言語のバイアス検出について検討されてきたが、ペルシア文化の文脈における社会的バイアスに対処するリソースには大きなギャップが残っている。 本研究では,ペルシャのLLMにおける社会的バイアスを評価するための総合ベンチマークデータセットであるPSBQを紹介する。 本ベンチマークは16の文化カテゴリーを対象とし,複数の人口層にまたがる250人の多様な個人によるアンケートによって,その妥当性を確保するために,社会科学の専門家との密接なコラボレーションによって開発された。 結果として得られたPBBQデータセットには、37,000以上の慎重にキュレートされた質問が含まれており、ペルシア語のモデルにおけるバイアスの評価と緩和の基礎となっている。 我々は, PBBQ 上で複数のオープンソース LLM , クローズドソースモデル, ペルシャ固有の微調整モデルをベンチマークする。 以上の結果から,現在のLLMはペルシャ文化全体において有意な社会的偏見を示すことが明らかとなった。 また、モデル出力と人間の反応を比較することで、LLMが人間のバイアスパターンを再現することが多く、学習した表現と文化的ステレオタイプとの複雑な相互作用を強調し、論文の受理により、我々のPBBQデータセットが今後の研究で利用できるようになることを観察する。 コンテンツ警告: この論文は安全でないコンテンツを含んでいる。

関連論文リスト

• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models [24.351580958043595]
  本稿では,英語バイアスベンチマークBBQに基づいて,質問回答のための日本語バイアスベンチマークデータセット(JBBQ)を構築した。 JBBQの精度が向上した現在の日本語LLMでは,そのバイアススコアが増大していることが示されている。 社会的バイアスと思考の連鎖について警告を発し、モデル出力におけるバイアスの効果を減少させる。
  論文  参考訳（メタデータ） (2024-06-04T07:31:06Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• KoBBQ: Korean Bias Benchmark for Question Answering [28.091808407408823]
  Bias Benchmark for Question Answering (BBQ)は、言語モデル(LM)の社会的バイアスを評価するように設計されている。 韓国のバイアスベンチマークデータセットであるKoBBQを紹介する。 本稿では,データセットの文化的適応を考慮に入れた一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:15Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。