論文の概要: BanglaBBQ: A Bias Benchmark for Question Answering in the Bangladeshi Context

• arxiv url: http://arxiv.org/abs/2610.24764v1
• Date: Sat, 17 Oct 2026 16:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:24:16.848989
• Title: BanglaBBQ: A Bias Benchmark for Question Answering in the Bangladeshi Context
• Title（参考訳）: BanglaBBQ:バングラデシュにおける質問回答のバイアスベンチマーク
• Abstract要約: 本稿ではバングラデシュの文脈に根ざしたステレオタイプを捉えるために設計された質問応答バイアスベンチマークであるBanglaBBQを紹介する。 Bias Benchmark for Question Answering (BBQ) は、テンプレートを3つのグループに分類することで、独自の Bias Benchmark for Question Answering (BBQ) を適用している。 バングラデシュの先住民のアノテーターは、新たに466件のテンプレートを審査し、372件はイングランドのアノテーターの厳格な多数が意図した標的を特定し、その態度を十分に共通していると評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces BanglaBBQ, a question-answering bias benchmark designed to capture stereotypes grounded in the Bangladeshi context, in both Bangla and English. Following KoBBQ and PakBBQ, BanglaBBQ adapts the original Bias Benchmark for Question Answering (BBQ) by classifying its templates into three groups: directly translated (DT), modified to align target groups or contexts with Bangladesh (TM), and removed when deemed unsuitable for the Bangladeshi context (SR). This process retains 140 templates across six categories, comprising 76 DT and 64 TM templates. Five newly authored (NA) categories, based on stereotypes common in Bangladeshi society, are then added: marital status, age and political perception, regional origin, educational background, and mental-health status. Native Bangladeshi annotators judged all 466 newly authored templates, and 372 were retained because a strict majority of English annotators identified the intended target and rated the attitude as common enough. Each newly authored template is linked to a documented source and a verbatim quote from it. Each evaluated template also has a counter-stereotypical version of its disambiguated context. The dataset was evaluated using two open-weight models (Qwen3-4B and Qwen3-8B) and two closed models (GPT-4.1-mini and Gemini 2.5 Flash). All four lean towards the stereotyped person when the context is ambiguous, in both languages, and the effect of language differs by model, so English results do not predict behaviour in Bangla. On the adapted BBQ templates, both Qwen3 models are also less accurate when the context contradicts a stereotype than when it confirms it. On the newly authored templates, the closed models follow counter-stereotypical evidence almost perfectly, and all four models are more biased on the templates that annotators validated than on those they rejected.
• Abstract（参考訳）: 本稿ではバングラデシュの文脈におけるステレオタイプを,バングラと英語の両方で捉えるための質問応答バイアスベンチマークであるBanglaBBQを紹介する。 KoBBQ と PakBBQ に続いて、BanglaBBQ は独自の Bias Benchmark for Question Answering (BBQ) を適応させ、テンプレートを3つのグループに分類する。 このプロセスは6つのカテゴリに140のテンプレートを保持し、76のDTと64のTMテンプレートを含んでいる。 その後、バングラデシュ社会に共通するステレオタイプに基づいて、5つの新たに認可された(NA)カテゴリーが追加される: 婚姻状況、年齢、政治的知覚、地域起源、教育的背景、精神的健康状態。 バングラデシュの先住民のアノテーターは、新たに466件のテンプレートを審査し、372件はイングランドのアノテーターの厳格な多数が意図した標的を特定し、その態度を十分に共通していると評価した。 新たに作成されるテンプレートはそれぞれ、ドキュメントソースとそれからの冗長な引用にリンクされる。 各評価テンプレートは、あいまいなコンテキストの反ステレオタイプバージョンも備えている。 データセットは2つのオープンウェイトモデル(Qwen3-4BとQwen3-8B)と2つのクローズドモデル(GPT-4.1-miniとGemini 2.5 Flash)を用いて評価された。 文脈があいまいで、両方の言語で、言語の影響はモデルによって異なるため、英語の結果はバングラの振る舞いを予測しない。 適応されたBBQテンプレートでは、どちらのQwen3モデルも、コンテキストがステレオタイプと矛盾する場合よりも精度が低い。 新たに作成されたテンプレートでは、クローズドモデルはほぼ完璧に反ステレオタイプ的エビデンスに従っており、4つのモデルは全て、アノテータが拒否したテンプレートよりも検証したテンプレートに偏っている。

関連論文リスト

• Right Frame, Wrong Rule: Cultural Cues Expose the Financial Knowledge Gap They Were Meant to Close [57.963463622270275]
  イスラム金融における規範的多元主義を4つの分類法を用いて研究する。 文化的キューは1つのフレームワークに向かってモデルを操縦するが、そのモデルはそのフレームワーク内で間違った答えを選択する。
  論文  参考訳（メタデータ） (2026-09-01T09:46:53Z)
• Robust Bias Evaluation with FilBBQ: A Filipino Bias Benchmark for Question-Answering Language Models [5.756606441319472]
  Bias Benchmark for Question-Answering (BBQ) は、生成モデルによって表されるステレオタイプ関連を評価するための重要なベンチマークフォーマットとして成長してきた。 FilBBQは、テンプレート分類、文化的に認識された翻訳、新しいテンプレート構築、即時生成からなる4段階の開発プロセスによって構築される。 フィリピンで訓練されたモデルにFilBBQを適用するが、従来のBBQ実装の信頼性と精度を向上させる頑健な評価プロトコルで適用する。
  論文  参考訳（メタデータ） (2026-02-16T05:03:15Z)
• Surfacing Subtle Stereotypes: A Multilingual, Debate-Oriented Evaluation of Modern LLMs [32.12545369011503]
  DebateBias-8Kは、多言語で議論的な新しいベンチマークで、現実的な生成環境での物語バイアスがどのように現れるかを明らかにする。 私たちのデータセットには、女性の権利、社会経済開発、テロリズム、宗教の4つの重要なドメインにまたがる8,400の構造化された議論のプロンプトが含まれています。 その結果、安全アライメントにもかかわらず、全てのモデルがエンレントステレオタイプを再現していることが判明した。
  論文  参考訳（メタデータ） (2025-11-03T03:25:40Z)
• PakBBQ: A Culturally Adapted Bias Benchmark for QA [3.4455728937232597]
  PakBBQは、文化的かつ地域的に適応した、質問回答データセットのオリジナルのバイアスベンチマークの拡張である。 PakBBQは、英語とウルドゥー語の両方の8つのカテゴリーにまたがる214以上のテンプレートと17180のQAペアで構成されており、年齢、障害、外観、性別、社会経済的地位、宗教、地域関係、言語形式を含む8つのバイアス次元をカバーしている。
  論文  参考訳（メタデータ） (2025-08-13T20:42:44Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
  テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。 ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。 本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
  論文  参考訳（メタデータ） (2023-02-14T22:07:57Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• BBQ: A Hand-Built Bias Benchmark for Question Answering [25.108222728383236]
  NLPモデルは、世界に存在する社会的バイアスを学習することは十分に文書化されているが、これらのバイアスが、質問応答(QA)のような適用されたタスクに対して、実際のモデルアウトプットにどのように現れるかを示す研究はほとんど行われていない。 筆者らによって構築された質問セットからなるデータセットであるBias Benchmark for QA (BBQ)を導入し、米国英語の文脈に関連する9つの異なる社会的次元に沿って、保護されたクラスに属する人々に対するテキストテストされた社会的偏見を強調した。 文脈が曖昧であるとき、モデルはステレオタイプに強く依存していることが分かり、つまり、モデルの出力は、この設定において有害なバイアスを一貫して再現する。
  論文  参考訳（メタデータ） (2021-10-15T16:43:46Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。