論文の概要: Evaluating Social Bias in RAG Systems: When External Context Helps and Reasoning Hurts

• arxiv url: http://arxiv.org/abs/2602.09442v1
• Date: Tue, 10 Feb 2026 06:27:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.401158
• Title: Evaluating Social Bias in RAG Systems: When External Context Helps and Reasoning Hurts
• Title（参考訳）: RAGシステムにおける社会的バイアスの評価
• Authors: Shweta Parihar, Lu Cheng,
• Abstract要約: 大規模言語モデル(LLM)に固有の社会的バイアスは、かなりの公平さを懸念する。 この研究は、RAGの社会的バイアスの影響を評価し、理解することに焦点を当てている。
• 参考スコア（独自算出の注目度）: 7.344577590113121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Social biases inherent in large language models (LLMs) raise significant fairness concerns. Retrieval-Augmented Generation (RAG) architectures, which retrieve external knowledge sources to enhance the generative capabilities of LLMs, remain susceptible to the same bias-related challenges. This work focuses on evaluating and understanding the social bias implications of RAG. Through extensive experiments across various retrieval corpora, LLMs, and bias evaluation datasets, encompassing more than 13 different bias types, we surprisingly observe a reduction in bias in RAG. This suggests that the inclusion of external context can help counteract stereotype-driven predictions, potentially improving fairness by diversifying the contextual grounding of the model's outputs. To better understand this phenomenon, we then explore the model's reasoning process by integrating Chain-of-Thought (CoT) prompting into RAG while assessing the faithfulness of the model's CoT. Our experiments reveal that the model's bias inclinations shift between stereotype and anti-stereotype responses as more contextual information is incorporated from the retrieved documents. Interestingly, we find that while CoT enhances accuracy, contrary to the bias reduction observed with RAG, it increases overall bias across datasets, highlighting the need for bias-aware reasoning frameworks that can mitigate this trade-off.
• Abstract（参考訳）: 大規模言語モデル(LLM)に固有の社会的バイアスは、かなりの公平さを懸念する。 LLMの生成能力を高めるために外部の知識ソースを抽出する検索型拡張生成(RAG)アーキテクチャは、同じバイアスに関連する課題の影響を受けやすいままである。 この研究は、RAGの社会的バイアスの影響を評価し、理解することに焦点を当てている。 様々な検索コーパス, LLM, バイアス評価データセットの広範な実験を通じて, 13種類以上のバイアスタイプを網羅し, RAGにおけるバイアスの減少を驚くほど観察した。 このことは、外部コンテキストを含めることでステレオタイプ駆動の予測に対処でき、モデルの出力の文脈的基礎を多様化することで公平性を向上させる可能性があることを示唆している。 この現象をよりよく理解するために、モデルのCoTの忠実さを評価しながら、RAGに促進するCoT(Chain-of-Thought)を統合することにより、モデルの推論プロセスを探る。 実験の結果, 検索した文書から, ステレオタイプとアンチステレオタイプとのバイアス傾向が, よりコンテキスト情報として組み込まれていることが判明した。 興味深いことに、CoTは精度を高めるが、RAGで観測されるバイアス低減とは対照的に、データセット全体のバイアスを増加させ、このトレードオフを緩和できるバイアス対応推論フレームワークの必要性を強調している。

関連論文リスト

• Adaptive Generation of Bias-Eliciting Questions for LLMs [18.608477560948003]
  大規模言語モデル(LLM)は現在、ユーザ向けアプリケーションに広くデプロイされており、世界中で数億に達しています。 我々は,性,人種,宗教などのセンシティブな属性に対して,現実的でオープンな質問を自動的に生成する,反現実的バイアス評価フレームワークを導入する。 また、非対称な拒絶や偏見の明示的な認識など、ユーザインタラクションにますます関係する異なる応答次元も捉えています。
  論文  参考訳（メタデータ） (2025-10-14T13:08:10Z)
• IndiCASA: A Dataset and Bias Evaluation Framework in LLMs Using Contrastive Embedding Similarity in the Indian Context [10.90604216960609]
  大きな言語モデル(LLM)は、その印象的なコンテキスト理解と生成能力によって、重要なドメイン間で大きな牽引力を得ています。 類似度を埋め込むことにより,微粒なバイアスを捕捉するコントラスト学習を用いて学習したエンコーダに基づく評価フレームワークを提案する。 IndiBiasをベースとしたコンテキストアライメントされたステレオタイプとアンチステレオタイプ) は,5つの人口動態軸にまたがる2,575の人文から構成される。
  論文  参考訳（メタデータ） (2025-10-03T06:03:26Z)
• Biases Propagate in Encoder-based Vision-Language Models: A Systematic Analysis From Intrinsic Measures to Zero-shot Retrieval Outcomes [14.331322509462419]
  社会集団バイアスは、基礎エンコーダに基づく視覚言語モデル(VLM)に固有のものであり、下流タスクのバイアスに現れる。 ゼロショットテキスト・トゥ・イメージ(TTI)とイメージ・トゥ・テキスト(ITT)検索におけるバイアスの度合いと、表現空間における固有バイアスの度合いを関連付けることにより、この伝播を測定するための制御された枠組みを導入する。 その結果,内因性バイアスと外因性バイアスの間に有意な相関がみられ,平均$rho$ = 0.83$pm$ 0.10が得られた。 注目すべきは、より大きな/ベターパフォーマンスモデルがより大きなバイアス伝播を示すこと、これは懸念を提起する発見である。
  論文  参考訳（メタデータ） (2025-06-06T20:01:32Z)
• BiasConnect: Investigating Bias Interactions in Text-to-Image Models [73.76853483463836]
  テキスト・ツー・イメージ・モデルにおけるバイアス相互作用の分析と定量化を目的とした新しいツールであるBiasConnectを紹介する。 我々の手法は、与えられたバイアスが修正されたとき、他のバイアス次元が理想的な分布に向かって、あるいは離れてどのように変化するかを示す経験的推定を提供する。 本稿では,最適なバイアス緩和軸の選択,学習する依存関係の異なるTTIモデルの比較,およびTTIモデルにおける交叉社会的バイアスの増幅を理解するためのBiasConnectの有用性を示す。
  論文  参考訳（メタデータ） (2025-03-12T19:01:41Z)
• Fine-Grained Bias Detection in LLM: Enhancing detection mechanisms for nuanced biases [0.0]
  本研究では,Large Language Models (LLMs) におけるニュアンスバイアス検出フレームワークを提案する。 このアプローチは、コンテキスト分析、注意機構による解釈可能性、および反ファクトデータ拡張を統合して、隠れたバイアスをキャプチャする。 その結果,従来の方法に比べて微妙な偏見の検出精度が向上した。
  論文  参考訳（メタデータ） (2025-03-08T04:43:01Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
  最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。 我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。 また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
  論文  参考訳（メタデータ） (2024-07-19T14:53:18Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。