論文の概要: Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2409.19804v1
• Date: Sun, 29 Sep 2024 22:04:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:04:59.010833
• Title: Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems
• Title（参考訳）: RAGはLLMに不公平をもたらすか?
• Authors: Xuyang Wu, Shuowei Li, Hsin-Tai Wu, Zhiqiang Tao, Yi Fang,
• Abstract要約: RAG(Retrieval-Augmented Generation)は近年,外部知識ソースの統合能力の向上に注目が集まっている。 本稿では,RAG法に適した公平度評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.926129063000264
• License:
• Abstract: RAG (Retrieval-Augmented Generation) have recently gained significant attention for their enhanced ability to integrate external knowledge sources in open-domain question answering (QA) tasks. However, it remains unclear how these models address fairness concerns, particularly with respect to sensitive attributes such as gender, geographic location, and other demographic factors. First, as language models evolve to prioritize utility, like improving exact match accuracy, fairness may have been largely overlooked. Second, RAG methods are complex pipelines, making it hard to identify and address biases, as each component is optimized for different goals. In this paper, we aim to empirically evaluate fairness in several RAG methods. We propose a fairness evaluation framework tailored to RAG methods, using scenario-based questions and analyzing disparities across demographic attributes. The experimental results indicate that, despite recent advances in utility-driven optimization, fairness issues persist in both the retrieval and generation stages, highlighting the need for more targeted fairness interventions within RAG pipelines. We will release our dataset and code upon acceptance of the paper.
• Abstract（参考訳）: RAG(Retrieval-Augmented Generation)は、最近、オープンドメイン質問応答(QA)タスクにおいて外部知識ソースを統合する能力の強化により、大きな注目を集めている。 しかし、これらのモデルがどのように公正な懸念に対処しているかは、特に性別、地理的な位置、その他の人口統計学的要因などのセンシティブな属性に関して、はっきりしない。 第一に、言語モデルが実用性を優先するように進化するにつれて、正確なマッチング精度が向上するなど、公正性はほとんど見過ごされていました。 第2に、RAGメソッドは複雑なパイプラインであり、各コンポーネントが異なる目標に最適化されているため、バイアスの特定と対処が難しい。 本稿では,複数のRAG法における公平性を実証的に評価することを目的とする。 本稿では,RAG法に適した公平度評価フレームワークを提案する。 実験の結果、ユーティリティ駆動最適化の最近の進歩にもかかわらず、検索と生成の両方段階でフェアネスの問題が続き、RAGパイプライン内でより標的となるフェアネス介入の必要性が強調された。 論文の受理後、データセットとコードを公開します。

関連論文リスト

• Pistis-RAG: A Scalable Cascading Framework Towards Trustworthy Retrieval-Augmented Generation [36.50624138061438]
  Pistis-RAGは、大規模検索拡張生成(RAG)システムの課題に対処するために設計されたスケーラブルなマルチステージフレームワークである。 私たちのフレームワークは、マッチング、序列、ランク付け、推論、集約という、異なるステージで構成されています。 我々の新しいランキングステージは、情報検索の原則を取り入れたRAGシステムに特化して設計されている。
  論文  参考訳（メタデータ） (2024-06-21T08:52:11Z)
• Evaluating RAG-Fusion with RAGElo: an Automated Elo-based Framework [0.5897092980823265]
  本稿では,RAG (Retrieval-Augmented Generation) Question-Answeringシステムを評価するための総合的なフレームワークを提案する。 我々はLarge Language Models (LLMs) を用いて、実際のユーザクエリとドメイン内ドキュメントに基づいて、合成クエリの大規模なデータセットを生成する。 RAGEloはヒトのアノテータの好みと正に一致しているが,注意が必要である。
  論文  参考訳（メタデータ） (2024-06-20T23:20:34Z)
• FairLENS: Assessing Fairness in Law Enforcement Speech Recognition [37.75768315119143]
  本研究では,異なるモデル間の公平さの相違を検証するための,新しい適応性評価手法を提案する。 我々は1つのオープンソースと11の商用 ASR モデルに対してフェアネスアセスメントを行った。
  論文  参考訳（メタデータ） (2024-05-21T19:23:40Z)
• What Hides behind Unfairness? Exploring Dynamics Fairness in Reinforcement Learning [52.51430732904994]
  強化学習問題では、エージェントはリターンを最大化しながら長期的な公正性を考慮する必要がある。 近年の研究では様々なフェアネスの概念が提案されているが、RL問題における不公平性がどのように生じるかは定かではない。 我々は、環境力学から生じる不平等を明示的に捉える、ダイナミックスフェアネスという新しい概念を導入する。
  論文  参考訳（メタデータ） (2024-04-16T22:47:59Z)
• Distributionally Generative Augmentation for Fair Facial Attribute Classification [69.97710556164698]
  Facial Attribute Classification (FAC) は広く応用されている。 従来の手法で訓練されたFACモデルは、様々なデータサブポピュレーションにまたがる精度の不整合を示すことによって不公平である可能性がある。 本研究は,付加アノテーションなしでバイアスデータ上で公正なFACモデルをトレーニングするための,新しい世代ベースの2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-11T10:50:53Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Fairness without the sensitive attribute via Causal Variational Autoencoder [17.675997789073907]
  EUにおけるプライバシーの目的とRGPDのような多彩な規制のため、多くの個人機密属性は収集されないことが多い。 近年の開発成果を近似推論に活用することにより,このギャップを埋めるためのアプローチを提案する。 因果グラフに基づいて、機密情報プロキシを推論するために、SRCVAEと呼ばれる新しい変分自動符号化ベースのフレームワークを利用する。
  論文  参考訳（メタデータ） (2021-09-10T17:12:52Z)
• Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning [85.6386289476598]
  我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。 我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-03T15:00:31Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。