論文の概要: BTC-SAM: Leveraging LLMs for Generation of Bias Test Cases for Sentiment Analysis Models

• arxiv url: http://arxiv.org/abs/2509.24101v1
• Date: Sun, 28 Sep 2025 22:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.632956
• Title: BTC-SAM: Leveraging LLMs for Generation of Bias Test Cases for Sentiment Analysis Models
• Title（参考訳）: BTC-SAM:感覚分析モデルのためのバイアステストケース生成のためのLCMの活用
• Authors: Zsolt T. Kardkovács, Lynda Djennane, Anna Field, Boualem Benatallah, Yacine Gaci, Fabio Casati, Walid Gaaloul,
• Abstract要約: 感性分析(SA)モデルは、現実世界の応用において有害な社会的バイアスを持つ。 最小限の仕様を持つSAモデルにおいて、バイアステストのための高品質なテストケースを生成する新しいバイアステストフレームワークであるBTC-SAMを提案する。
• 参考スコア（独自算出の注目度）: 1.5637023740732419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentiment Analysis (SA) models harbor inherent social biases that can be harmful in real-world applications. These biases are identified by examining the output of SA models for sentences that only vary in the identity groups of the subjects. Constructing natural, linguistically rich, relevant, and diverse sets of sentences that provide sufficient coverage over the domain is expensive, especially when addressing a wide range of biases: it requires domain experts and/or crowd-sourcing. In this paper, we present a novel bias testing framework, BTC-SAM, which generates high-quality test cases for bias testing in SA models with minimal specification using Large Language Models (LLMs) for the controllable generation of test sentences. Our experiments show that relying on LLMs can provide high linguistic variation and diversity in the test sentences, thereby offering better test coverage compared to base prompting methods even for previously unseen biases.
• Abstract（参考訳）: 感性分析(SA)モデルは、現実世界の応用において有害な社会的バイアスを持つ。 これらのバイアスは、被験者のアイデンティティグループによってのみ異なる文に対するSAモデルの出力を調べることによって識別される。 ドメインに関する十分なカバレッジを提供する自然な、言語的にリッチで、関連性があり、多様な文のセットを構築するのは、特に幅広いバイアスに対処する場合、コストがかかる。 本稿では,新たなバイアステストフレームワークであるBTC-SAMを提案する。このフレームワークは,テスト文の制御可能な生成にLarge Language Models (LLMs) を用いて,最小限の仕様で,SAモデルにおけるバイアステストの高品質なテストケースを生成する。 実験の結果, LLM に依存すると, テスト文の言語的変化や多様性が向上し, 前例のないバイアスであっても, ベースプロンプト法と比較してテストカバレッジが向上することがわかった。

関連論文リスト

• Relative Bias: A Comparative Framework for Quantifying Bias in LLMs [29.112649816695203]
  相対バイアス(Relative Bias)は、LLMの振る舞いが特定のターゲットドメイン内の他のLLMとどのようにずれているかを評価するために設計された手法である。 本稿では,(1)埋め込み空間上の文表現を通して相対的バイアスパターンをキャプチャする埋め込み変換解析と,(2)言語モデルを用いて出力を相対的に評価するLLM-as-a-Judgeという2つの相補的手法を紹介する。 検証のための統計的テストに続くバイアスとアライメントのシナリオに関するいくつかのケーススタディに我々のフレームワークを適用し、この2つのスコアリング手法の間に強い整合性を見出した。
  論文  参考訳（メタデータ） (2025-05-22T01:59:54Z)
• LangBiTe: A Platform for Testing Bias in Large Language Models [1.9744907811058787]
  大規模言語モデル(LLM)は、フォーラム、ウェブサイト、ソーシャルメディア、その他のインターネットソースから抽出された膨大な量のデータに基づいて訓練されている。 LangBiTeを使うことで、開発チームはテストシナリオを調整し、ユーザ定義の倫理的要件に従ってテストケースを自動生成し、実行することが可能になる。 LangBiteは、LLMのバイアス評価と、最初の倫理的要件と得られた洞察の間のエンドツーエンドトレーサビリティを提供する。
  論文  参考訳（メタデータ） (2024-04-29T10:02:45Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• FairMonitor: A Four-Stage Automatic Framework for Detecting Stereotypes and Biases in Large Language Models [10.57405233305553]
  本稿では,Large Language Models(LLMs)の生成したコンテンツのステレオタイプとバイアスを直接評価する4段階フレームワークを提案する。 教育部門を事例研究として,4段階の枠組みに基づくEdu-FairMonitorを構築した。 実験結果から,Edu-FairMonitorで評価された5つのLDMのステレオタイプとバイアスの程度が異なっていた。
  論文  参考訳（メタデータ） (2023-08-21T00:25:17Z)
• BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
  テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。 ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。 本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
  論文  参考訳（メタデータ） (2023-02-14T22:07:57Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。