論文の概要: Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks

• arxiv url: http://arxiv.org/abs/2412.16708v1
• Date: Sat, 21 Dec 2024 17:31:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:55:28.073389
• Title: Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks
• Title（参考訳）: よりロバストな検索型生成に向けて: 敵対的攻撃下でのRAGの評価
• Authors: Jinyan Su, Jin Peng Zhou, Zhengxin Zhang, Preslav Nakov, Claire Cardie,
• Abstract要約: Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
• 参考スコア（独自算出の注目度）: 45.07581174558107
• License:
• Abstract: Retrieval-Augmented Generation (RAG) systems have emerged as a promising solution to mitigate LLM hallucinations and enhance their performance in knowledge-intensive domains. However, these systems are vulnerable to adversarial poisoning attacks, where malicious passages injected into retrieval databases can mislead the model into generating factually incorrect outputs. In this paper, we investigate both the retrieval and the generation components of RAG systems to understand how to enhance their robustness against such attacks. From the retrieval perspective, we analyze why and how the adversarial contexts are retrieved and assess how the quality of the retrieved passages impacts downstream generation. From a generation perspective, we evaluate whether LLMs' advanced critical thinking and internal knowledge capabilities can be leveraged to mitigate the impact of adversarial contexts, i.e., using skeptical prompting as a self-defense mechanism. Our experiments and findings provide actionable insights into designing safer and more resilient retrieval-augmented frameworks, paving the way for their reliable deployment in real-world applications.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは、LLM幻覚を緩和し、知識集約領域におけるその性能を高めるための有望なソリューションとして登場した。 しかし、これらのシステムは、検索データベースに注入された悪意あるパスが、モデルに誤った誤りを生じさせるような、敵の毒殺攻撃に対して脆弱である。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対する堅牢性を高める方法について考察する。 検索の観点から、なぜ敵の文脈が検索されるのかを解析し、検索した経路の質が下流生成にどのように影響するかを評価する。 世代の観点からは,LLMの高度な批判的思考と内的知識能力を活用して,敵的文脈の影響を軽減することができるか,すなわち,自衛機構としての懐疑的なプロンプトを用いて評価する。 我々の実験と発見は、より安全でより回復力のある検索強化フレームワークの設計に関する実用的な洞察を提供し、現実世界のアプリケーションに信頼性のあるデプロイを行うための道を開いた。

関連論文リスト

• Toward Robust RALMs: Revealing the Impact of Imperfect Retrieval on Retrieval-Augmented Language Models [5.10832476049103]
  提案手法では,ALMを実世界の実例と混同しうるシナリオを3つ同定する。 我々は,新たな敵攻撃法,生成モデルに基づくADVersarial attack (GenADV) と,付加文書(RAD)に基づく新しい計量ロバストネスを提案する。 以上の結果から,ALMは文書集合の未解決性や矛盾を識別できないことが多く,幻覚につながることが多かった。
  論文  参考訳（メタデータ） (2024-10-19T13:40:33Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Black-Box Opinion Manipulation Attacks to Retrieval-Augmented Generation of Large Language Models [21.01313168005792]
  我々は、意見操作のためのブラックボックス攻撃に直面した場合、検索強化生成(RAG)モデルの脆弱性を明らかにする。 このような攻撃がユーザの認知と意思決定に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-07-18T17:55:55Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Robust Safety Classifier for Large Language Models: Adversarial Prompt Shield [7.5520641322945785]
  大規模言語モデルの安全性は、敵の攻撃に対する脆弱性のため、依然として重要な懸念事項である。 本稿では,検出精度を向上し,対向プロンプトに対するレジリエンスを示す軽量モデルであるAdversarial Prompt Shield(APS)を紹介する。 また、対戦型トレーニングデータセットを自律的に生成するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T22:22:10Z)
• RAGAS: Automated Evaluation of Retrieval Augmented Generation [25.402461447140823]
  RAGAはRetrieval Augmented Generationパイプラインを評価するためのフレームワークである。 RAGシステムは、検索とLLMベースの生成モジュールで構成される。
  論文  参考訳（メタデータ） (2023-09-26T19:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。