論文の概要: Robust Bias Evaluation with FilBBQ: A Filipino Bias Benchmark for Question-Answering Language Models

• arxiv url: http://arxiv.org/abs/2602.14466v1
• Date: Mon, 16 Feb 2026 05:03:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.152618
• Title: Robust Bias Evaluation with FilBBQ: A Filipino Bias Benchmark for Question-Answering Language Models
• Title（参考訳）: FilBBQを用いたロバストバイアス評価:質問応答言語モデルのためのフィリピンバイアスベンチマーク
• Authors: Lance Calvin Lim Gamboa, Yue Feng, Mark Lee,
• Abstract要約: Bias Benchmark for Question-Answering (BBQ) は、生成モデルによって表されるステレオタイプ関連を評価するための重要なベンチマークフォーマットとして成長してきた。 FilBBQは、テンプレート分類、文化的に認識された翻訳、新しいテンプレート構築、即時生成からなる4段階の開発プロセスによって構築される。 フィリピンで訓練されたモデルにFilBBQを適用するが、従来のBBQ実装の信頼性と精度を向上させる頑健な評価プロトコルで適用する。
• 参考スコア（独自算出の注目度）: 5.756606441319472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With natural language generation becoming a popular use case for language models, the Bias Benchmark for Question-Answering (BBQ) has grown to be an important benchmark format for evaluating stereotypical associations exhibited by generative models. We expand the linguistic scope of BBQ and construct FilBBQ through a four-phase development process consisting of template categorization, culturally aware translation, new template construction, and prompt generation. These processes resulted in a bias test composed of more than 10,000 prompts which assess whether models demonstrate sexist and homophobic prejudices relevant to the Philippine context. We then apply FilBBQ on models trained in Filipino but do so with a robust evaluation protocol that improves upon the reliability and accuracy of previous BBQ implementations. Specifically, we account for models' response instability by obtaining prompt responses across multiple seeds and averaging the bias scores calculated from these distinctly seeded runs. Our results confirm both the variability of bias scores across different seeds and the presence of sexist and homophobic biases relating to emotion, domesticity, stereotyped queer interests, and polygamy. FilBBQ is available via GitHub.
• Abstract（参考訳）: 自然言語生成が言語モデルの一般的なユースケースとなるにつれ、Bias Benchmark for Question-Answering (BBQ) は、生成モデルによって表されるステレオタイプ関連を評価するための重要なベンチマークフォーマットとして成長してきた。 BBQの言語範囲を拡大し、テンプレート分類、文化的に認識された翻訳、新しいテンプレート構築、即時生成からなる4段階の開発プロセスを通じてFilBBQを構築する。 これらのプロセスは、1万以上のプロンプトからなるバイアステストとなり、モデルがフィリピンの文脈に関連する性差別的偏見と同性愛的偏見を示すかどうかを評価することになった。 次に、フィリピンで訓練されたモデルにFilBBQを適用するが、従来のBBQ実装の信頼性と精度を改善する頑健な評価プロトコルで適用する。 具体的には、複数の種にまたがる迅速な応答を求め、これらの明確な種付きランニングから算出されたバイアススコアを平均化することにより、モデルの応答不安定性を説明する。 以上の結果から,異なる種子に対する偏見スコアの変動と,感情,家庭性,ステレオタイプクイア,ポリガミーに関連する性差別的偏見と同性愛的偏見の存在が確認された。 FilBBQはGitHubから入手できる。

関連論文リスト

• PakBBQ: A Culturally Adapted Bias Benchmark for QA [3.4455728937232597]
  PakBBQは、文化的かつ地域的に適応した、質問回答データセットのオリジナルのバイアスベンチマークの拡張である。 PakBBQは、英語とウルドゥー語の両方の8つのカテゴリーにまたがる214以上のテンプレートと17180のQAペアで構成されており、年齢、障害、外観、性別、社会経済的地位、宗教、地域関係、言語形式を含む8つのバイアス次元をカバーしている。
  論文  参考訳（メタデータ） (2025-08-13T20:42:44Z)
• HeQ: a Large and Diverse Hebrew Reading Comprehension Benchmark [54.73504952691398]
  我々は,抽出質問としてヘブライ語機械読解データセットの提供に着手した。 ヘブライ語の形態学的に豊かな性質はこの努力に挑戦している。 我々は,新しいガイドラインのセット,制御されたクラウドソーシングプロトコル,評価基準の改訂を考案した。
  論文  参考訳（メタデータ） (2025-08-03T15:53:01Z)
• MBBQ: A Dataset for Cross-Lingual Comparison of Stereotypes in Generative LLMs [6.781972039785424]
  生成的大規模言語モデル(LLM)は有害なバイアスやステレオタイプを示すことが示されている。 MBBQは、オランダ語、スペイン語、トルコ語でよく見られるステレオタイプを測定するデータセットである。 その結果、文化的な変化を抑えながら、英語以外の言語では、英語よりも偏見に悩まされていることが確認された。
  論文  参考訳（メタデータ） (2024-06-11T13:23:14Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• KoBBQ: Korean Bias Benchmark for Question Answering [28.091808407408823]
  Bias Benchmark for Question Answering (BBQ)は、言語モデル(LM)の社会的バイアスを評価するように設計されている。 韓国のバイアスベンチマークデータセットであるKoBBQを紹介する。 本稿では,データセットの文化的適応を考慮に入れた一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2023-07-31T15:44:15Z)
• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
  テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。 ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。 本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
  論文  参考訳（メタデータ） (2023-02-14T22:07:57Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。