論文の概要: Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2409.11598v4
• Date: Fri, 04 Jul 2025 20:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.102373
• Title: Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation
• Title（参考訳）: フェアRAGへ向けて--検索強化世代におけるフェアランキングの影響について
• Authors: To Eun Kim, Fernando Diaz,
• Abstract要約: 本論文は,公正度を意識したランキングを組み込んだRAGシステムの最初の体系的評価である。 フェアネスを意識した検索を組み込むことで、ランキング品質と生成品質の両面を維持・強化することが少なくない。
• 参考スコア（独自算出の注目度）: 53.285436927963865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the central role of retrieval in retrieval-augmented generation (RAG) systems, much of the existing research on RAG overlooks the well-established field of fair ranking and fails to account for the interests of all stakeholders involved. In this paper, we conduct the first systematic evaluation of RAG systems that integrate fairness-aware rankings, addressing both ranking fairness and attribution fairness, which ensures equitable exposure of the sources cited in the generated content. Our evaluation focuses on measuring item-side fairness, specifically the fair exposure of relevant items retrieved by RAG systems, and investigates how this fairness impacts both the effectiveness of the systems and the attribution of sources in the generated output that users ultimately see. By experimenting with twelve RAG models across seven distinct tasks, we show that incorporating fairness-aware retrieval often maintains or even enhances both ranking quality and generation quality, countering the common belief that fairness compromises system performance. Additionally, we demonstrate that fair retrieval practices lead to more balanced attribution in the final responses, ensuring that the generator fairly cites the sources it relies on. Our findings underscore the importance of item-side fairness in retrieval and generation, laying the foundation for responsible and equitable RAG systems and guiding future research in fair ranking and attribution.
• Abstract（参考訳）: 検索強化世代(RAG)システムにおける検索の中心的な役割にもかかわらず、RAGに関する既存の研究の多くは、確立された公正なランキングの分野を見落としており、関係するすべての利害関係者の利益を考慮に入れていない。 本稿では, 公正度と帰属公正度を両立させ, 公正度を考慮したRAGシステムの最初の体系的評価を行い, 生成したコンテンツに引用されたソースの公平な露出を確実にする。 本評価は,RAGシステムにより検索された関連項目の公正度の測定に焦点をあて,この公正度が,ユーザが最終的に見る出力の帰属度とシステムの有効性に与える影響について検討する。 7つのタスクにまたがって12のRAGモデルを実験することにより、公平性に配慮した検索を組み込むことは、システム性能を損なうという一般的な信念に反し、ランキング品質と生成品質の両方を維持または強化することを示した。 さらに、公正な検索手法が最終的な応答においてよりバランスの取れた帰属をもたらすことを示し、生成元が依存するソースを適切に引用することを保証する。 本研究は,検索・生成における項目側の公正性の重要性を浮き彫りにし,責任・公平なRAGシステムの基礎を築き,公正なランキングと貢献における今後の研究を導くものである。

関連論文リスト

• The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation [73.16564415490113]
  Retrieval-Augmented Generation (RAG)は、外部の知識ソースから関連文書を取得することにより、Large Language Models (LLM)を強化する。 本稿では,小規模LLMにおいてRAGが導入した公平性問題を軽減するために,FairFTとFairFilterの2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-11T10:17:10Z)
• FAIR-QR: Enhancing Fairness-aware Information Retrieval through Query Refinement [1.8577028544235155]
  本稿では,検索キーワードを改良し,表現不足なグループから文書を検索し,グループフェアネスを実現する新しいフレームワークを提案する。 提案手法は,妥当性と公平性に関する有望な検索結果を示すだけでなく,各イテレーションで使用される洗練されたキーワードを表示することで解釈可能性を示す。
  論文  参考訳（メタデータ） (2025-03-27T02:10:19Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems [18.926129063000264]
  RAG(Retrieval-Augmented Generation)は近年,外部知識ソースの統合能力の向上に注目が集まっている。 本稿では,RAG法に適した公平度評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T22:04:26Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
  本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
  論文  参考訳（メタデータ） (2024-08-15T10:20:54Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
  最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。 我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。 また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
  論文  参考訳（メタデータ） (2024-07-19T14:53:18Z)
• RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems [0.0]
  Retrieval-Augmented Generation (RAG)は、ユーザ向けチャットアプリケーションにおけるドメイン固有の知識の標準的なアーキテクチャパターンとなっている。 RAGBenchは、100kのサンプルからなる、最初の包括的な大規模RAGベンチマークデータセットである。 TRACe評価フレームワークは、すべてのRAGドメインに適用可能な説明可能かつ実行可能なRAG評価指標のセットである。
  論文  参考訳（メタデータ） (2024-06-25T20:23:15Z)
• Evaluation of Retrieval-Augmented Generation: A Survey [13.633909177683462]
  本稿では,Retrieval-Augmented Generation (RAG)システムの評価とベンチマークについて概観する。 具体的には、検索・生成要素の定量化指標(関連性、正確性、忠実性など)について検討・比較する。 次に、様々なデータセットとメトリクスを分析し、現在のベンチマークの限界について議論し、RAGベンチマークの分野を前進させる潜在的な方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-13T02:33:25Z)
• Fairness in Reinforcement Learning: A Survey [0.0]
  我々は,強化学習におけるフェアネスのフロンティアの最も最新のスナップショットを提供するために,文献を調査した。 我々は,単一エージェントとマルチエージェントRLシステムにおいて,公正性を実装するために研究者が用いた手法を強調した。 RLHFの文脈における公平さの理解など,文献のギャップを批判的に検討する。
  論文  参考訳（メタデータ） (2024-05-11T04:36:46Z)
• Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
  uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。 我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
  論文  参考訳（メタデータ） (2024-04-30T19:51:37Z)
• ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
  本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。 ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。 コードとデータセットをGithubで公開しています。
  論文  参考訳（メタデータ） (2023-11-16T00:39:39Z)
• Incentives for Item Duplication under Fair Ranking Policies [69.14168955766847]
  重複が存在する場合の様々な公正ランキングポリシーの振る舞いについて検討する。 適合性にのみ焦点を絞った政策よりも、重複を動機付ける可能性を秘めているため、公正を意識したランキングポリシーは多様性と矛盾する可能性がある。
  論文  参考訳（メタデータ） (2021-10-29T11:11:15Z)
• Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers [9.811131801693856]
  ランキングモデルの検索したテキスト内容の公平性を測定するための新しいフレームワークを提供する。 本稿では,最先端のbertrankersに適用した逆バイアス緩和手法を提案する。 MARCOベンチマークの結果,全てのランキングモデルの公正度は,ランク付け非依存のベースラインの公平度よりも低いが,検索内容の公平度は,提案した対角トレーニングの適用時に著しく向上することが示された。
  論文  参考訳（メタデータ） (2021-04-28T08:53:54Z)
• "And the Winner Is...": Dynamic Lotteries for Multi-group Fairness-Aware Recommendation [37.35485045640196]
  我々は、以前の文献は単純で一様であり、フェアネスの仮定の単次元の概念に基づいていたと論じる。 私たちは、多元的定義と交差する保護されたグループ間の正確性と公平性の間のトレードオフに参入する設計上の決定を明確に表現します。 公正な関心事を選択するための宝くじに基づくメカニズムを定式化し、その性能を2つの推奨領域で実証する。
  論文  参考訳（メタデータ） (2020-09-05T20:15:14Z)
• Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
  TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。 本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
  論文  参考訳（メタデータ） (2020-03-25T21:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。