論文の概要: No Free Lunch: Retrieval-Augmented Generation Undermines Fairness in LLMs, Even for Vigilant Users
- arxiv url: http://arxiv.org/abs/2410.07589v1
- Date: Thu, 10 Oct 2024 03:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 16:06:31.037218
- Title: No Free Lunch: Retrieval-Augmented Generation Undermines Fairness in LLMs, Even for Vigilant Users
- Title（参考訳）: フリーランチなし。LLMの「検索機能強化世代」は、自警団のユーザーでさえ公正さを損なう
- Authors: Mengxuan Hu, Hongyi Wu, Zihan Guan, Ronghang Zhu, Dongliang Guo, Daiqing Qi, Sheng Li,
- Abstract要約: Retrieval-Augmented Generation (RAG) はその有効性とコスト効率に広く採用されている。
本研究では,フェアネスのユーザ認識の観点から,現実的な3段階の脅威モデルを提案する。
我々は,RAGの公正性について,検閲されていない,部分的に検閲された,完全に検閲されたデータセットを用いて検討した。
- 参考スコア（独自算出の注目度）: 21.25007065608671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) is widely adopted for its effectiveness and cost-efficiency in mitigating hallucinations and enhancing the domain-specific generation capabilities of large language models (LLMs). However, is this effectiveness and cost-efficiency truly a free lunch? In this study, we comprehensively investigate the fairness costs associated with RAG by proposing a practical three-level threat model from the perspective of user awareness of fairness. Specifically, varying levels of user fairness awareness result in different degrees of fairness censorship on the external dataset. We examine the fairness implications of RAG using uncensored, partially censored, and fully censored datasets. Our experiments demonstrate that fairness alignment can be easily undermined through RAG without the need for fine-tuning or retraining. Even with fully censored and supposedly unbiased external datasets, RAG can lead to biased outputs. Our findings underscore the limitations of current alignment methods in the context of RAG-based LLMs and highlight the urgent need for new strategies to ensure fairness. We propose potential mitigations and call for further research to develop robust fairness safeguards in RAG-based LLMs.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、幻覚を緩和し、大規模言語モデル(LLM)のドメイン固有生成能力を向上する効果とコスト効率に広く採用されている。
しかし、この効果とコスト効率は本当に無料ランチなのか?
本研究では,利用者の公正意識の観点から,現実的な3段階の脅威モデルを提案することにより,RAGに関連する公正性コストを包括的に検討する。
具体的には、ユーザフェアネス意識のレベルが異なるため、外部データセット上でのフェアネス検閲の度合いが異なる。
我々は,RAGの公正性について,検閲されていない,部分的に検閲された,完全に検閲されたデータセットを用いて検討した。
我々の実験は、微調整や再訓練を必要とせず、RAGを通して公平性アライメントを損なうことができることを示した。
完全に検閲された、おそらくバイアスのない外部データセットであっても、RAGはバイアスのある出力につながる可能性がある。
本研究は,RAGに基づくLCMの文脈におけるアライメント手法の限界を浮き彫りにし,公平性を確保するための新たな戦略の必要性を浮き彫りにした。
我々は,RAGをベースとしたLCMにおける堅牢な公平性保護を開発するために,潜在的な軽減策を提案し,さらなる研究を求める。
関連論文リスト
- Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。
私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。
実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文 参考訳（メタデータ） (2024-11-01T20:44:59Z) - Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems [18.926129063000264]
RAG(Retrieval-Augmented Generation)は近年,外部知識ソースの統合能力の向上に注目が集まっている。
本稿では,RAG法に適した公平度評価フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-29T22:04:26Z) - SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。
SFR-RAG(SFR-RAG)について述べる。
また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文 参考訳（メタデータ） (2024-09-16T01:08:18Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳（メタデータ） (2024-08-02T13:35:11Z) - Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳（メタデータ） (2024-07-19T14:53:18Z) - A Theory for Token-Level Harmonization in Retrieval-Augmented Generation [76.75124161306795]
Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。
本稿では,RAGの利益と有害性を説明するための理論を提供する。
提案手法は,本理論に基づいて,純粋LLMとRAGの協調生成を実現する実用的手法であるTok-RAGを提案する。
論文 参考訳（メタデータ） (2024-06-03T02:56:14Z) - Fairness-aware Federated Minimax Optimization with Convergence Guarantee [10.727328530242461]
フェデレートラーニング(FL)はそのプライバシー保護機能のためにかなりの注目を集めている。
ユーザデータ管理の自由の欠如は、モデルが人種や性別などのセンシティブな要因に偏っている、グループフェアネスの問題につながる可能性がある。
本稿では,FLにおけるグループフェアネス問題に明示的に対処するために,拡張ラグランジアン法(FFALM)を用いたフェアフェデレーション平均化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-10T08:45:58Z) - Fair-CDA: Continuous and Directional Augmentation for Group Fairness [48.84385689186208]
公正な制約を課すための詳細なデータ拡張戦略を提案する。
グループ間の感性のある特徴の遷移経路のモデルを正規化することにより、グループフェアネスを実現することができることを示す。
提案手法はデータ生成モデルを仮定せず,精度と公平性の両方に優れた一般化を実現する。
論文 参考訳（メタデータ） (2023-04-01T11:23:00Z) - Fairness without Demographics through Adversarially Reweighted Learning [20.803276801890657]
保護されたグループメンバーシップさえ知らない場合、フェアネスを改善するためにMLモデルをトレーニングします。
特に,非保護機能やタスクラベルは公平性の問題を特定する上で有用である,という仮説を立てる。
以上の結果から,ARLはRawlsian Max-Minフェアネスを向上し,複数のデータセットにおける最悪の保護グループに対するAUCの顕著な改善が見られた。
論文 参考訳（メタデータ） (2020-06-23T16:06:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。