論文の概要: Contextual StereoSet: Stress-Testing Bias Alignment Robustness in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.10460v1
• Date: Thu, 15 Jan 2026 14:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.178521
• Title: Contextual StereoSet: Stress-Testing Bias Alignment Robustness in Large Language Models
• Title（参考訳）: 文脈ステレオセット:大規模言語モデルにおけるストレステストバイアスアライメントロバストネス
• Authors: Abhinaba Basu, Pavan Chakraborty,
• Abstract要約: 測定されたバイアスは、異なる場所、時間、またはオーディエンスに言及するプロンプトによって劇的に変化することを示す。 本研究では,コンテキストフレーミングを体系的に変更しながら,ステレオタイプコンテンツを固定したベンチマークであるContextual StereoSetを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A model that avoids stereotypes in a lab benchmark may not avoid them in deployment. We show that measured bias shifts dramatically when prompts mention different places, times, or audiences -- no adversarial prompting required. We introduce Contextual StereoSet, a benchmark that holds stereotype content fixed while systematically varying contextual framing. Testing 13 models across two protocols, we find striking patterns: anchoring to 1990 (vs. 2030) raises stereotype selection in all models tested on this contrast (p<0.05); gossip framing raises it in 5 of 6 full-grid models; out-group observer framing shifts it by up to 13 percentage points. These effects replicate in hiring, lending, and help-seeking vignettes. We propose Context Sensitivity Fingerprints (CSF): a compact profile of per-dimension dispersion and paired contrasts with bootstrap CIs and FDR correction. Two evaluation tracks support different use cases -- a 360-context diagnostic grid for deep analysis and a budgeted protocol covering 4,229 items for production screening. The implication is methodological: bias scores from fixed-condition tests may not generalize.This is not a claim about ground-truth bias rates; it is a stress test of evaluation robustness. CSF forces evaluators to ask, "Under what conditions does bias appear?" rather than "Is this model biased?" We release our benchmark, code, and results.
• Abstract（参考訳）: ラボベンチマークでステレオタイプを避けるモデルは、デプロイ時にステレオタイプを避けることはできないかもしれない。 測定されたバイアスは、異なる場所、時間、またはオーディエンスに言及するプロンプトによって劇的に変化します。 本研究では,コンテキストフレーミングを体系的に変更しながら,ステレオタイプコンテンツを固定したベンチマークであるContextual StereoSetを紹介する。 1990年(vs.2030)は、このコントラストでテストされたすべてのモデルにおいて、ステレオタイプ選択(p<0.05)、ゴシップフレーミング(gossip framing)は6つのフルグリッドモデルのうち5つで、グループ外オブザーバフレーミング(out-groupObserver framing)は最大13ポイントシフトする。 これらの効果は、雇用、貸与、ヘルプ・シーキング・ヴィグネットを再現する。 本稿では,1次元分散のコンパクトなプロファイルと,ブートストラップCIとFDR補正とのコントラストを併用したコンテキスト感度指紋(CSF)を提案する。 2つの評価トラックは、異なるユースケースをサポートする - ディープ分析用の360コンテキスト診断グリッドと、プロダクションスクリーニング用の4,229項目をカバーする予算付きプロトコルだ。 固定条件試験の偏りスコアは一般化できないが、これは地絡みバイアス率に関する主張ではなく、頑健さを評価するためのストレステストである。 CSFは評価者に対して、“このモデルは偏りがあるのか? ベンチマーク、コード、結果をリリースします。

関連論文リスト

• Prototypicality Bias Reveals Blindspots in Multimodal Evaluation Metrics [25.374192139098284]
  マルチモーダル評価において,システム障害モードとしての原形質バイアスについて検討する。 我々は、動物、オブジェクト、デモグラフィー画像にまたがる対照ベンチマークProtoBiasを導入する。 以上の結果から,CLIPScore,PickScore,VQAベースのスコアなど,広く使用されているメトリクスが,これらのペアを誤用していることが判明した。 本稿では, 故障率を大幅に低減し, 誤判定を抑える, 頑健な7BパラメータであるProtoScoreを提案する。
  論文  参考訳（メタデータ） (2026-01-08T13:49:14Z)
• Adaptive Generation of Bias-Eliciting Questions for LLMs [18.608477560948003]
  大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションに広くデプロイされており、世界中で数億に達しています。 我々は,性,人種,宗教などのセンシティブな属性に対して,現実的でオープンな質問を自動的に生成する,反現実的バイアス評価フレームワークを導入する。 また、非対称な拒絶や偏見の明示的な認識など、ユーザインタラクションにますます関係する異なる応答次元も捉えています。
  論文  参考訳（メタデータ） (2025-10-14T13:08:10Z)
• Large Language Models Still Exhibit Bias in Long Text [14.338308312117901]
  大規模言語モデルにおけるバイアスを評価するフレームワークであるLong Text Fairness Test (LTF-TEST)を紹介する。 LTF-TESTはモデル応答とそれらの背後にある推論の両方を評価することで、単純な応答では検出が難しい微妙なバイアスを明らかにする。 FT-REGARD(FT-REGARD)を提案する。
  論文  参考訳（メタデータ） (2024-10-23T02:51:33Z)
• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Discovering Bias in Latent Space: An Unsupervised Debiasing Approach [6.67121343477106]
  基礎モデルの質問応答能力は、変化を促すために非常に敏感である。 モデルの内部表現において、このバイアスを直接修正することを提案する。 実験により,SteerFairは命令調整によるモデル性能のバラツキを大幅に低減することを示した。
  論文  参考訳（メタデータ） (2024-06-05T21:29:09Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• COBIAS: Assessing the Contextual Reliability of Bias Benchmarks for Language Models [14.594920595573038]
  大規模言語モデル(LLM)は、トレーニング対象のWebデータからバイアスを受け取り、ステレオタイプや偏見を含むことが多い。 これらのバイアスを評価し緩和するための現在の手法はバイアスベンチマークデータセットに依存している。 本稿では,モデルが現れる可能性のあるさまざまなコンテキストを考慮し,モデルロバスト性を偏りのある文に評価するコンテキスト信頼性フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T10:46:11Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。 本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• Bias-Conflict Sample Synthesis and Adversarial Removal Debias Strategy for Temporal Sentence Grounding in Video [67.24316233946381]
  TSGV(Temporal Sentence Grounding in Video)は、データセットバイアスの問題に悩まされている。 偏りを伴うサンプル合成と逆行性除去脱バイアス戦略(BSSARD)を提案する。
  論文  参考訳（メタデータ） (2024-01-15T09:59:43Z)
• Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation [109.06060143938052]
  テストデータセットを超えたモデル弱点を明らかにするための"ダブル摂動"フレームワークを提案する。 この枠組みを,モデルの頑健さと英語における反事実バイアスの分析に使用される2つの摂動に基づくアプローチに応用する。
  論文  参考訳（メタデータ） (2021-04-12T06:57:36Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。