論文の概要: Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2409.11598v3
• Date: Tue, 25 Feb 2025 04:13:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:20:12.055245
• Title: Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation
• Title（参考訳）: フェアRAGへ向けて--検索強化世代におけるフェアランキングの影響について
• Authors: To Eun Kim, Fernando Diaz,
• Abstract要約: フェアネスを意識したランキングを組み込んだRAGシステムに関する最初の総合的研究について述べる。 フェアネスを意識した検索は、しばしばランキングの有効性と生成品質を維持または改善する。 本結果は,検索と生成の両段階において,アイテム側の公平さの重要性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 53.285436927963865
• License:
• Abstract: Modern language models frequently include retrieval components to improve their outputs, giving rise to a growing number of retrieval-augmented generation (RAG) systems. Yet, most existing work in RAG has underemphasized fair ranking techniques and neglected the diverse interests of all stakeholders. In this paper, we present the first comprehensive study of RAG systems that incorporate fairness-aware rankings, focusing on both ranking fairness and attribution fairness - ensuring equitable exposure of sources cited in the final text. We specifically examine item-side fairness, i.e., whether retrieved documents receive balanced exposure, and assess how this affects both the system's overall performance and the eventual distribution of cited sources. Across twelve RAG models and seven tasks, we find that fairness-aware retrieval frequently retains or even improves ranking effectiveness and generation quality, countering the widespread belief that fairness compromises system performance. Moreover, we show that fair retrieval leads to more balanced attribution in the final responses, ensuring that the cited sources are credited more equitably. Our results underscore the importance of item-side fairness throughout both retrieval and generation phases, offering key insights for building more responsible and equitable RAG systems and illustrating promising avenues for future exploration in fair ranking and source attribution.
• Abstract（参考訳）: 現代の言語モデルは、しばしばその出力を改善するための検索コンポーネントを含んでおり、より多くの検索拡張世代(RAG)システムを生み出している。 しかし、RAGの既存の作業のほとんどは、公正なランキング技術に重点を置いており、すべての利害関係者の多様な利益を無視している。 本稿では, 公正度と帰属公正度の両方に着目し, 公正度を考慮したRAGシステムに関する総合的研究を行った。 具体的には、検索した文書がバランスの取れた露出を受けるかどうかを項目側フェアネスとして検討し、それがシステム全体の性能と参照ソースの最終的な分布にどのように影響するかを評価する。 12のRAGモデルと7つのタスクにまたがって、フェアネスを意識した検索は、システム性能を損なうという広く信じられているように、ランキングの有効性と生成品質をしばしば維持または改善する。 さらに, フェア検索が最終応答においてよりバランスの取れた帰属をもたらすことを示し, 引用された情報源がより公平に評価されることを保証する。 本結果は,検索と生成の両段階において項目側の公平性の重要性を強調し,より責任と公平なRAGシステムを構築する上で重要な洞察を提供するとともに,今後の公正なランク付けとソース属性の探究の道筋を示すものである。

関連論文リスト

• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems [18.926129063000264]
  RAG(Retrieval-Augmented Generation)は近年,外部知識ソースの統合能力の向上に注目が集まっている。 本稿では,RAG法に適した公平度評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T22:04:26Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
  本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
  論文  参考訳（メタデータ） (2024-08-15T10:20:54Z)
• RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems [0.0]
  Retrieval-Augmented Generation (RAG)は、ユーザ向けチャットアプリケーションにおけるドメイン固有の知識の標準的なアーキテクチャパターンとなっている。 RAGBenchは、100kのサンプルからなる、最初の包括的な大規模RAGベンチマークデータセットである。 TRACe評価フレームワークは、すべてのRAGドメインに適用可能な説明可能かつ実行可能なRAG評価指標のセットである。
  論文  参考訳（メタデータ） (2024-06-25T20:23:15Z)
• Evaluation of Retrieval-Augmented Generation: A Survey [13.633909177683462]
  本稿では,Retrieval-Augmented Generation (RAG)システムの評価とベンチマークについて概観する。 具体的には、検索・生成要素の定量化指標(関連性、正確性、忠実性など)について検討・比較する。 次に、様々なデータセットとメトリクスを分析し、現在のベンチマークの限界について議論し、RAGベンチマークの分野を前進させる潜在的な方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-13T02:33:25Z)
• Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
  uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。 我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
  論文  参考訳（メタデータ） (2024-04-30T19:51:37Z)
• ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
  本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。 ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。 コードとデータセットをGithubで公開しています。
  論文  参考訳（メタデータ） (2023-11-16T00:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。