論文の概要: Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2409.11598v1
• Date: Tue, 17 Sep 2024 23:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-19 19:39:45.307368
• Title: Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation
• Title（参考訳）: フェアRAGへ向けて--検索強化世代におけるフェアランキングの影響について
• Authors: To Eun Kim, Fernando Diaz,
• Abstract要約: 本稿では,公正ランキングと統合されたRAGシステムの最初の体系的評価について述べる。 本稿では,RAGシステムで活用されるランキングにおいて,各項目の公正な露出を測定することに焦点を当てる。 以上の結果から,RAGシステムは高い世代品質を維持でき,多くの場合,従来のRAGシステムよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 53.285436927963865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many language models now enhance their responses with retrieval capabilities, leading to the widespread adoption of retrieval-augmented generation (RAG) systems. However, despite retrieval being a core component of RAG, much of the research in this area overlooks the extensive body of work on fair ranking, neglecting the importance of considering all stakeholders involved. This paper presents the first systematic evaluation of RAG systems integrated with fair rankings. We focus specifically on measuring the fair exposure of each relevant item across the rankings utilized by RAG systems (i.e., item-side fairness), aiming to promote equitable growth for relevant item providers. To gain a deep understanding of the relationship between item-fairness, ranking quality, and generation quality in the context of RAG, we analyze nine different RAG systems that incorporate fair rankings across seven distinct datasets. Our findings indicate that RAG systems with fair rankings can maintain a high level of generation quality and, in many cases, even outperform traditional RAG systems, despite the general trend of a tradeoff between ensuring fairness and maintaining system-effectiveness. We believe our insights lay the groundwork for responsible and equitable RAG systems and open new avenues for future research. We publicly release our codebase and dataset at https://github.com/kimdanny/Fair-RAG.
• Abstract（参考訳）: 現在では多くの言語モデルが検索機能により応答を高めており、検索拡張生成システム(RAG)が広く採用されている。 しかしながら、検索はRAGの中核的な要素であるにもかかわらず、この分野の研究の多くは、関係するすべての利害関係者を考慮することの重要性を無視して、公正なランク付けに関する広範な仕事の体系を見落としている。 本稿では,公正ランキングと統合されたRAGシステムの最初の体系的評価について述べる。 本研究は、RAGシステム(項目側公正性)が活用するランキングにおいて、各項目の公正な露出を測定することに焦点を当て、関連項目提供者に対する公平な成長を促進することを目的としている。 RAGの文脈におけるアイテムフェアネス,ランキング品質,生成品質の関係を深く理解するために,7つの異なるデータセットに公平なランキングを組み込んだ9種類のRAGシステムを分析した。 その結果, 公平性確保とシステム効率維持のトレードオフの一般的な傾向にもかかわらず, 高い世代品質を維持し, 従来のRAGシステムよりも優れていることが示唆された。 我々は、我々の洞察が責任と公平なRAGシステムの基盤となり、将来の研究のための新たな道を開くと信じている。 コードベースとデータセットはhttps://github.com/kimdanny/Fair-RAG.comで公開しています。

関連論文リスト

• The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation [73.16564415490113]
  Retrieval-Augmented Generation (RAG)は、外部の知識ソースから関連文書を取得することにより、Large Language Models (LLM)を強化する。 本稿では,小規模LLMにおいてRAGが導入した公平性問題を軽減するために,FairFTとFairFilterの2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-11T10:17:10Z)
• FAIR-QR: Enhancing Fairness-aware Information Retrieval through Query Refinement [1.8577028544235155]
  本稿では,検索キーワードを改良し,表現不足なグループから文書を検索し,グループフェアネスを実現する新しいフレームワークを提案する。 提案手法は,妥当性と公平性に関する有望な検索結果を示すだけでなく,各イテレーションで使用される洗練されたキーワードを表示することで解釈可能性を示す。
  論文  参考訳（メタデータ） (2025-03-27T02:10:19Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems [18.926129063000264]
  RAG(Retrieval-Augmented Generation)は近年,外部知識ソースの統合能力の向上に注目が集まっている。 本稿では,RAG法に適した公平度評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-29T22:04:26Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
  本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
  論文  参考訳（メタデータ） (2024-08-15T10:20:54Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
  最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。 我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。 また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
  論文  参考訳（メタデータ） (2024-07-19T14:53:18Z)
• RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems [0.0]
  Retrieval-Augmented Generation (RAG)は、ユーザ向けチャットアプリケーションにおけるドメイン固有の知識の標準的なアーキテクチャパターンとなっている。 RAGBenchは、100kのサンプルからなる、最初の包括的な大規模RAGベンチマークデータセットである。 TRACe評価フレームワークは、すべてのRAGドメインに適用可能な説明可能かつ実行可能なRAG評価指標のセットである。
  論文  参考訳（メタデータ） (2024-06-25T20:23:15Z)
• Evaluation of Retrieval-Augmented Generation: A Survey [13.633909177683462]
  本稿では,Retrieval-Augmented Generation (RAG)システムの評価とベンチマークについて概観する。 具体的には、検索・生成要素の定量化指標(関連性、正確性、忠実性など)について検討・比較する。 次に、様々なデータセットとメトリクスを分析し、現在のベンチマークの限界について議論し、RAGベンチマークの分野を前進させる潜在的な方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-13T02:33:25Z)
• Fairness in Reinforcement Learning: A Survey [0.0]
  我々は,強化学習におけるフェアネスのフロンティアの最も最新のスナップショットを提供するために,文献を調査した。 我々は,単一エージェントとマルチエージェントRLシステムにおいて,公正性を実装するために研究者が用いた手法を強調した。 RLHFの文脈における公平さの理解など,文献のギャップを批判的に検討する。
  論文  参考訳（メタデータ） (2024-05-11T04:36:46Z)
• Towards a Search Engine for Machines: Unified Ranking for Multiple Retrieval-Augmented Large Language Models [21.115495457454365]
  uRAGは、複数の下流検索拡張生成システム(RAG)を提供する統合検索エンジンを備えたフレームワークである。 我々は、訓練に従事する18のRAGシステムと、uRAGを検索エンジンの新規ユーザとして使用する18の未知のRAGシステムからなる大規模な実験エコシステムを構築した。
  論文  参考訳（メタデータ） (2024-04-30T19:51:37Z)
• ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems [46.522527144802076]
  本稿では,RAGシステム評価のための自動RAG評価システムであるARESを紹介する。 ARESは軽量LM判定器を微調整し、個々のRAG成分の品質を評価する。 コードとデータセットをGithubで公開しています。
  論文  参考訳（メタデータ） (2023-11-16T00:39:39Z)
• Incentives for Item Duplication under Fair Ranking Policies [69.14168955766847]
  重複が存在する場合の様々な公正ランキングポリシーの振る舞いについて検討する。 適合性にのみ焦点を絞った政策よりも、重複を動機付ける可能性を秘めているため、公正を意識したランキングポリシーは多様性と矛盾する可能性がある。
  論文  参考訳（メタデータ） (2021-10-29T11:11:15Z)
• Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers [9.811131801693856]
  ランキングモデルの検索したテキスト内容の公平性を測定するための新しいフレームワークを提供する。 本稿では,最先端のbertrankersに適用した逆バイアス緩和手法を提案する。 MARCOベンチマークの結果,全てのランキングモデルの公正度は,ランク付け非依存のベースラインの公平度よりも低いが,検索内容の公平度は,提案した対角トレーニングの適用時に著しく向上することが示された。
  論文  参考訳（メタデータ） (2021-04-28T08:53:54Z)
• "And the Winner Is...": Dynamic Lotteries for Multi-group Fairness-Aware Recommendation [37.35485045640196]
  我々は、以前の文献は単純で一様であり、フェアネスの仮定の単次元の概念に基づいていたと論じる。 私たちは、多元的定義と交差する保護されたグループ間の正確性と公平性の間のトレードオフに参入する設計上の決定を明確に表現します。 公正な関心事を選択するための宝くじに基づくメカニズムを定式化し、その性能を2つの推奨領域で実証する。
  論文  参考訳（メタデータ） (2020-09-05T20:15:14Z)
• Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
  TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。 本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
  論文  参考訳（メタデータ） (2020-03-25T21:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。