論文の概要: Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2409.11598v3
• Date: Tue, 25 Feb 2025 04:13:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 17:42:44.350416
• Title: Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation
• Title（参考訳）: フェアRAGへ向けて--検索強化世代におけるフェアランキングの影響について
• Authors: To Eun Kim, Fernando Diaz,
• Abstract要約: フェアネスを意識したランキングを組み込んだRAGシステムに関する最初の総合的研究について述べる。 フェアネスを意識した検索は、しばしばランキングの有効性と生成品質を維持または改善する。 本結果は,検索と生成の両段階において,アイテム側の公平さの重要性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 53.285436927963865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern language models frequently include retrieval components to improve their outputs, giving rise to a growing number of retrieval-augmented generation (RAG) systems. Yet, most existing work in RAG has underemphasized fair ranking techniques and neglected the diverse interests of all stakeholders. In this paper, we present the first comprehensive study of RAG systems that incorporate fairness-aware rankings, focusing on both ranking fairness and attribution fairness - ensuring equitable exposure of sources cited in the final text. We specifically examine item-side fairness, i.e., whether retrieved documents receive balanced exposure, and assess how this affects both the system's overall performance and the eventual distribution of cited sources. Across twelve RAG models and seven tasks, we find that fairness-aware retrieval frequently retains or even improves ranking effectiveness and generation quality, countering the widespread belief that fairness compromises system performance. Moreover, we show that fair retrieval leads to more balanced attribution in the final responses, ensuring that the cited sources are credited more equitably. Our results underscore the importance of item-side fairness throughout both retrieval and generation phases, offering key insights for building more responsible and equitable RAG systems and illustrating promising avenues for future exploration in fair ranking and source attribution.
• Abstract（参考訳）: 現代の言語モデルは、しばしばその出力を改善するための検索コンポーネントを含んでおり、より多くの検索拡張世代(RAG)システムを生み出している。 しかし、RAGの既存の作業のほとんどは、公正なランキング技術に重点を置いており、すべての利害関係者の多様な利益を無視している。 本稿では, 公正度と帰属公正度の両方に着目し, 公正度を考慮したRAGシステムに関する総合的研究を行った。 具体的には、検索した文書がバランスの取れた露出を受けるかどうかを項目側フェアネスとして検討し、それがシステム全体の性能と参照ソースの最終的な分布にどのように影響するかを評価する。 12のRAGモデルと7つのタスクにまたがって、フェアネスを意識した検索は、システム性能を損なうという広く信じられているように、ランキングの有効性と生成品質をしばしば維持または改善する。 さらに, フェア検索が最終応答においてよりバランスの取れた帰属をもたらすことを示し, 引用された情報源がより公平に評価されることを保証する。 本結果は,検索と生成の両段階において項目側の公平性の重要性を強調し,より責任と公平なRAGシステムを構築する上で重要な洞察を提供するとともに,今後の公正なランク付けとソース属性の探究の道筋を示すものである。

関連論文リスト

• The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation [73.16564415490113]
  Retrieval-Augmented Generation (RAG)は、外部の知識ソースから関連文書を取得することにより、Large Language Models (LLM)を強化する。 本稿では,小規模LLMにおいてRAGが導入した公平性問題を軽減するために,FairFTとFairFilterの2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-11T10:17:10Z)
• FAIR-QR: Enhancing Fairness-aware Information Retrieval through Query Refinement [1.8577028544235155]
  本稿では,検索キーワードを改良し,表現不足なグループから文書を検索し,グループフェアネスを実現する新しいフレームワークを提案する。 提案手法は,妥当性と公平性に関する有望な検索結果を示すだけでなく,各イテレーションで使用される洗練されたキーワードを表示することで解釈可能性を示す。
  論文  参考訳（メタデータ） (2025-03-27T02:10:19Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems [18.926129063000264]
  RAG(Retrieval-Augmented Generation)は近年,外部知識ソースの統合能力の向上に注目が集まっている。 本稿では,RAG法に適した公平度評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T22:04:26Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
  本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
  論文  参考訳（メタデータ） (2024-08-15T10:20:54Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
  最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。 我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。 また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
  論文  参考訳（メタデータ） (2024-07-19T14:53:18Z)
• RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems [0.0]
  Retrieval-Augmented Generation (RAG)は、ユーザ向けチャットアプリケーションにおけるドメイン固有の知識の標準的なアーキテクチャパターンとなっている。 RAGBenchは、100kのサンプルからなる、最初の包括的な大規模RAGベンチマークデータセットである。 TRACe評価フレームワークは、すべてのRAGドメインに適用可能な説明可能かつ実行可能なRAG評価指標のセットである。
  論文  参考訳（メタデータ） (2024-06-25T20:23:15Z)
• Evaluation of Retrieval-Augmented Generation: A Survey [13.633909177683462]
  本稿では,Retrieval-Augmented Generation (RAG)システムの評価とベンチマークについて概観する。 具体的には、検索・生成要素の定量化指標(関連性、正確性、忠実性など)について検討・比較する。 次に、様々なデータセットとメトリクスを分析し、現在のベンチマークの限界について議論し、RAGベンチマークの分野を前進させる潜在的な方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-13T02:33:25Z)
• Fairness in Reinforcement Learning: A Survey [0.0]
  我々は,強化学習におけるフェアネスのフロンティアの最も最新のスナップショットを提供するために,文献を調査した。 我々は,単一エージェントとマルチエージェントRLシステムにおいて,公正性を実装するために研究者が用いた手法を強調した。 RLHFの文脈における公平さの理解など,文献のギャップを批判的に検討する。
  論文  参考訳（メタデータ） (2024-05-11T04:36:46Z)
• Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
  uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。 我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
  論文  参考訳（メタデータ） (2024-04-30T19:51:37Z)
• ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
  本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。 ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。 コードとデータセットをGithubで公開しています。
  論文  参考訳（メタデータ） (2023-11-16T00:39:39Z)
• Incentives for Item Duplication under Fair Ranking Policies [69.14168955766847]
  重複が存在する場合の様々な公正ランキングポリシーの振る舞いについて検討する。 適合性にのみ焦点を絞った政策よりも、重複を動機付ける可能性を秘めているため、公正を意識したランキングポリシーは多様性と矛盾する可能性がある。
  論文  参考訳（メタデータ） (2021-10-29T11:11:15Z)
• Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers [9.811131801693856]
  ランキングモデルの検索したテキスト内容の公平性を測定するための新しいフレームワークを提供する。 本稿では,最先端のbertrankersに適用した逆バイアス緩和手法を提案する。 MARCOベンチマークの結果,全てのランキングモデルの公正度は,ランク付け非依存のベースラインの公平度よりも低いが,検索内容の公平度は,提案した対角トレーニングの適用時に著しく向上することが示された。
  論文  参考訳（メタデータ） (2021-04-28T08:53:54Z)
• "And the Winner Is...": Dynamic Lotteries for Multi-group Fairness-Aware Recommendation [37.35485045640196]
  我々は、以前の文献は単純で一様であり、フェアネスの仮定の単次元の概念に基づいていたと論じる。 私たちは、多元的定義と交差する保護されたグループ間の正確性と公平性の間のトレードオフに参入する設計上の決定を明確に表現します。 公正な関心事を選択するための宝くじに基づくメカニズムを定式化し、その性能を2つの推奨領域で実証する。
  論文  参考訳（メタデータ） (2020-09-05T20:15:14Z)
• Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
  TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。 本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
  論文  参考訳（メタデータ） (2020-03-25T21:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。