論文の概要: PBBQ: A Persian Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models

• arxiv url: http://arxiv.org/abs/2510.19616v1
• Date: Wed, 22 Oct 2025 14:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.917604
• Title: PBBQ: A Persian Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models
• Title（参考訳）: PBBQ: 大規模言語モデルのための人間-AIコラボレーションによるペルシアのバイアスベンチマークデータセット
• Authors: Farhan Farsi, Shayan Bali, Fatemeh Valeh, Parsa Ghofrani, Alireza Pakniat, Kian Kashfipour, Amir H. Payberah,
• Abstract要約: ペルシャ語モデルにおける社会的バイアスを評価するために設計されたベンチマークデータセットであるPSBQを紹介する。 PBBQデータセットには、慎重にキュレートされた質問が37,000以上含まれている。 以上の結果から,現在のLLMはペルシャ文化全体において有意な社会的偏見を示すことが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.3518016233072557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing adoption of large language models (LLMs), ensuring their alignment with social norms has become a critical concern. While prior research has examined bias detection in various languages, there remains a significant gap in resources addressing social biases within Persian cultural contexts. In this work, we introduce PBBQ, a comprehensive benchmark dataset designed to evaluate social biases in Persian LLMs. Our benchmark, which encompasses 16 cultural categories, was developed through questionnaires completed by 250 diverse individuals across multiple demographics, in close collaboration with social science experts to ensure its validity. The resulting PBBQ dataset contains over 37,000 carefully curated questions, providing a foundation for the evaluation and mitigation of bias in Persian language models. We benchmark several open-source LLMs, a closed-source model, and Persian-specific fine-tuned models on PBBQ. Our findings reveal that current LLMs exhibit significant social biases across Persian culture. Additionally, by comparing model outputs to human responses, we observe that LLMs often replicate human bias patterns, highlighting the complex interplay between learned representations and cultural stereotypes.Upon acceptance of the paper, our PBBQ dataset will be publicly available for use in future work. Content warning: This paper contains unsafe content.
• Abstract（参考訳）: 大規模言語モデル(LLM)の採用が増加し、社会規範との整合性を確保することが重要な関心事となっている。 以前の研究では、様々な言語のバイアス検出について検討されてきたが、ペルシア文化の文脈における社会的バイアスに対処するリソースには大きなギャップが残っている。 本研究では,ペルシャのLLMにおける社会的バイアスを評価するための総合ベンチマークデータセットであるPSBQを紹介する。 本ベンチマークは16の文化カテゴリーを対象とし,複数の人口層にまたがる250人の多様な個人によるアンケートによって,その妥当性を確保するために,社会科学の専門家との密接なコラボレーションによって開発された。 結果として得られたPBBQデータセットには、37,000以上の慎重にキュレートされた質問が含まれており、ペルシア語のモデルにおけるバイアスの評価と緩和の基礎となっている。 我々は, PBBQ 上で複数のオープンソース LLM , クローズドソースモデル, ペルシャ固有の微調整モデルをベンチマークする。 以上の結果から,現在のLLMはペルシャ文化全体において有意な社会的偏見を示すことが明らかとなった。 また、モデル出力と人間の反応を比較することで、LLMが人間のバイアスパターンを再現することが多く、学習した表現と文化的ステレオタイプとの複雑な相互作用を強調し、論文の受理により、我々のPBBQデータセットが今後の研究で利用できるようになることを観察する。 コンテンツ警告: この論文は安全でないコンテンツを含んでいる。

関連論文リスト

• PakBBQ: A Culturally Adapted Bias Benchmark for QA [3.4455728937232597]
  PakBBQは、文化的かつ地域的に適応した、質問回答データセットのオリジナルのバイアスベンチマークの拡張である。 PakBBQは、英語とウルドゥー語の両方の8つのカテゴリーにまたがる214以上のテンプレートと17180のQAペアで構成されており、年齢、障害、外観、性別、社会経済的地位、宗教、地域関係、言語形式を含む8つのバイアス次元をカバーしている。
  論文  参考訳（メタデータ） (2025-08-13T20:42:44Z)
• Intersectional Bias in Japanese Large Language Models from a Contextualized Perspective [19.168850702678125]
  本研究では,大規模言語モデル(LLM)における交叉バイアスを評価するために,JBBQ間ベンチマークを構築した。 JBBQ による GPT-4o と Swallow の分析により,社会的属性の等しい組み合わせであっても,その文脈によってバイアス出力が変化することがわかった。
  論文  参考訳（メタデータ） (2025-06-14T03:30:07Z)
• LIBRA: Measuring Bias of Large Language Model from a Local Context [9.612845616659776]
  大規模言語モデル(LLM)は、かなり高度な自然言語処理アプリケーションを持っている。 しかし、彼らの普及した利用は、特定の社会集団の実用性や害を減少させる固有のバイアスに関する懸念を提起する。 本研究は,これらの制約を,バイアス測定のためのローカル統合バイアス認識評価フレームワーク(LIBRA)を用いて解決する。
  論文  参考訳（メタデータ） (2025-02-02T04:24:57Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• JBBQ: Japanese Bias Benchmark for Analyzing Social Biases in Large Language Models [24.351580958043595]
  本稿では,英語バイアスベンチマークBBQに基づいて,質問回答のための日本語バイアスベンチマークデータセット(JBBQ)を構築した。 JBBQの精度が向上した現在の日本語LLMでは,そのバイアススコアが増大していることが示されている。 社会的バイアスと思考の連鎖について警告を発し、モデル出力におけるバイアスの効果を減少させる。
  論文  参考訳（メタデータ） (2024-06-04T07:31:06Z)
• CIVICS: Building a Dataset for Examining Culturally-Informed Values in Large Language Models [59.22460740026037]
  大規模言語モデル(LLM)の社会的・文化的変動を評価するためのデータセット「CIVICS:文化インフォームド・バリュース・インクルーシブ・コーパス・フォー・ソシエティ・インパクト」 我々は、LGBTQIの権利、社会福祉、移民、障害権利、代理など、特定の社会的に敏感なトピックに対処する、手作りの多言語プロンプトのデータセットを作成します。
  論文  参考訳（メタデータ） (2024-05-22T20:19:10Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• KoBBQ: Korean Bias Benchmark for Question Answering [28.091808407408823]
  Bias Benchmark for Question Answering (BBQ)は、言語モデル(LM)の社会的バイアスを評価するように設計されている。 韓国のバイアスベンチマークデータセットであるKoBBQを紹介する。 本稿では,データセットの文化的適応を考慮に入れた一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:15Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。