論文の概要: Who Benefits from RAG? The Role of Exposure, Utility and Attribution Bias
- arxiv url: http://arxiv.org/abs/2603.24218v1
- Date: Wed, 25 Mar 2026 11:45:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 21:06:11.270266
- Title: Who Benefits from RAG? The Role of Exposure, Utility and Attribution Bias
- Title(参考訳): RAGから恩恵を受けるのは誰か? 露光, 実用, 帰属バイアスの役割
- Authors: Mahdi Dehghan, Graham McDonald,
- Abstract要約: Retrieval-Augmented Generation (RAG)により強化されたLarge Language Models (LLM) は精度を大幅に向上した。
RAGにおける問合せ群公平度に及ぼす3つの要因の影響について検討した。
- 参考スコア(独自算出の注目度): 3.874524858753285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) enhanced with Retrieval-Augmented Generation (RAG) have achieved substantial improvements in accuracy by grounding their responses in external documents that are relevant to the user's query. However, relatively little work has investigated the impact of RAG in terms of fairness. Particularly, it is not yet known if queries that are associated with certain groups within a fairness category systematically receive higher accuracy, or accuracy improvements in RAG systems compared to LLM-only, a phenomenon we refer to as query group fairness. In this work, we conduct extensive experiments to investigate the impact of three key factors on query group fairness in RAG, namely: Group exposure, i.e., the proportion of documents from each group appearing in the retrieved set, determined by the retriever; Group utility, i.e., the degree to which documents from each group contribute to improving answer accuracy, capturing retriever-generator interactions; and Group attribution, i.e., the extent to which the generator relies on documents from each group when producing responses. We examine group-level average accuracy and accuracy improvements disparities across four fairness categories using three datasets derived from the TREC 2022 Fair Ranking Track for two tasks: article generation and title generation. Our findings show that RAG systems suffer from the query group fairness problem and amplify disparities in terms of average accuracy across queries from different groups, compared to an LLM-only setting. Moreover, group utility, exposure, and attribution can exhibit strong positive or negative correlations with average accuracy or accuracy improvements of queries from that group, highlighting their important role in fair RAG. Our data and code are publicly available from Github.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG)により強化されたLarge Language Models (LLM) は、ユーザのクエリに関連する外部ドキュメントに応答を基盤として、精度を大幅に向上した。
しかし, 公正性の観点からRAGの影響を調査する研究は比較的少ない。
特に, フェアネスカテゴリ内の特定のグループに関連付けられたクエリが, LLMのみと比較して, RAGシステムの精度や精度の向上を体系的に受けているかどうかは不明である。
本研究は,RAGにおける問合せ群フェアネスに対する3つの重要な要因,すなわち,検索者によって決定された検索集合に現れる各グループからの文書の割合,グループユーティリティ,各グループからの文書が回答精度の向上に寄与する度合い,検索者-生成者間相互作用のキャプチャ,グループ属性,応答の生成時に生成元が各グループからの文書に依存する程度などについて,広範囲にわたる実験を行った。
TREC 2022 Fair Ranking Trackから抽出した3つのデータセットを用いて,4つのフェアネスカテゴリーにおけるグループレベルの平均精度と精度改善の相違について検討した。
以上の結果から,RAGシステムはクエリグループフェアネスの問題に悩まされており,LLMのみの設定に比べて,異なるグループからのクエリ間の平均精度の差が増大していることがわかった。
さらに、グループユーティリティ、露出、属性は、そのグループからのクエリの平均的正確性や精度の改善と強い正あるいは負の相関を示し、彼らの公正なRAGにおける重要な役割を強調します。
私たちのデータとコードはGithubから公開されています。
関連論文リスト
- GroupRank: A Groupwise Reranking Paradigm Driven by Reinforcement Learning [26.616849067985967]
Groupwiseは、大規模な言語モデルのための新しいパラダイムである。
高品質な検索とランキングデータのための革新的なパイプラインを提案する。
得られたデータは、リランカのトレーニングだけでなく、レトリバーのトレーニングにも利用することができる。
論文 参考訳(メタデータ) (2025-11-10T15:25:31Z) - Quantifying Query Fairness Under Unawareness [82.33181164973365]
本稿では,二項分類を超えた複数の機密属性を効果的に処理する定量化に基づく頑健な公正度推定手法を提案する。
提案手法は, 様々な属性にまたがる既存のベースラインよりも優れており, 未知の公正度を測定するための信頼性の高いプロトコルを最初に確立した。
論文 参考訳(メタデータ) (2025-06-04T16:31:44Z) - Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems [18.926129063000264]
本研究では,複数のRAG法において,公正性を実証的に評価することを目的とする。
その結果,最近のユーティリティ駆動最適化の進歩にもかかわらず,検索と生成の両段階において公平性の問題が持続していることが示唆された。
これらの知見は、RAGパイプライン全体の公平性に対処するための標的的介入の必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2024-09-29T22:04:26Z) - Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation [53.285436927963865]
本論文は,公正度を意識したランキングを組み込んだRAGシステムの最初の体系的評価である。
フェアネスを意識した検索を組み込むことで、ランキング品質と生成品質の両面を維持・強化することが少なくない。
論文 参考訳(メタデータ) (2024-09-17T23:10:04Z) - AGRO: Adversarial Discovery of Error-prone groups for Robust
Optimization [109.91265884632239]
群分散ロバスト最適化(G-DRO)は、トレーニングデータに対する事前定義されたグループのセットに対する最悪の損失を最小限にすることができる。
本稿では、分散ロバスト最適化のためのAGRO -- Adversarial Group Discoveryを提案する。
AGROは、既知の最悪のグループの平均モデルパフォーマンスを8%向上させる。
論文 参考訳(メタデータ) (2022-12-02T00:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。