論文の概要: Evaluating the Robustness of Retrieval-Augmented Generation to Adversarial Evidence in the Health Domain

• arxiv url: http://arxiv.org/abs/2509.03787v1
• Date: Thu, 04 Sep 2025 00:45:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.001557
• Title: Evaluating the Robustness of Retrieval-Augmented Generation to Adversarial Evidence in the Health Domain
• Title（参考訳）: 健康領域の敵対的エビデンスに対する検索型生成のロバスト性の評価
• Authors: Shakiba Amirshahi, Amin Bigdeli, Charles L. A. Clarke, Amira Ghenai,
• Abstract要約: Retrieval augmented generation (RAG) システムは、検索された証拠や文脈を支援として提供することにより、Large Language Model (LLM) の応答を現実的に根拠付ける方法を提供する。 LLMは、回収された証拠に存在する誤報を吸収し、再生する。 この問題は、抽出された証拠が、誤報を公布することを明示的に意図した敵対的な材料を含むと拡大される。
• 参考スコア（独自算出の注目度）: 8.094811345546118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval augmented generation (RAG) systems provide a method for factually grounding the responses of a Large Language Model (LLM) by providing retrieved evidence, or context, as support. Guided by this context, RAG systems can reduce hallucinations and expand the ability of LLMs to accurately answer questions outside the scope of their training data. Unfortunately, this design introduces a critical vulnerability: LLMs may absorb and reproduce misinformation present in retrieved evidence. This problem is magnified if retrieved evidence contains adversarial material explicitly intended to promulgate misinformation. This paper presents a systematic evaluation of RAG robustness in the health domain and examines alignment between model outputs and ground-truth answers. We focus on the health domain due to the potential for harm caused by incorrect responses, as well as the availability of evidence-based ground truth for many common health-related questions. We conduct controlled experiments using common health questions, varying both the type and composition of the retrieved documents (helpful, harmful, and adversarial) as well as the framing of the question by the user (consistent, neutral, and inconsistent). Our findings reveal that adversarial documents substantially degrade alignment, but robustness can be preserved when helpful evidence is also present in the retrieval pool. These findings offer actionable insights for designing safer RAG systems in high-stakes domains by highlighting the need for retrieval safeguards. To enable reproducibility and facilitate future research, all experimental results are publicly available in our github repository. https://github.com/shakibaam/RAG_ROBUSTNESS_EVAL
• Abstract（参考訳）: Retrieval augmented generation (RAG) システムは、検索された証拠や文脈を支援として提供することにより、Large Language Model (LLM) の応答を現実的に根拠付ける方法を提供する。 この文脈によって、RAGシステムは幻覚を減らし、LLMがトレーニングデータの範囲外の質問に正確に答える能力を拡張することができる。 残念ながら、この設計は致命的な脆弱性をもたらしている: LLMは、回収された証拠に存在する誤報を吸収し、再生する。 この問題は、抽出された証拠が、誤報を公布することを明示的に意図した敵対的な材料を含むと拡大される。 本稿では,健康領域におけるRAGのロバスト性を体系的に評価し,モデル出力とグラウンドトルース回答の整合性を検討する。 我々は,不適切な反応による害の可能性を考慮し,健康領域に焦点をあてるとともに,多くの一般的な健康問題に対する証拠に基づく根拠的真理が利用可能である。 我々は,検索した文書の種類や構成(有害,有害,敵対的)とユーザによる質問のフレーミング(一貫性,中立,矛盾)を両立させる,共通の健康質問を用いた制御実験を行った。 以上の結果から, 逆行性文書の整合性は著しく低下するが, 有効な証拠が検索プールにも存在している場合, 頑健性は保たれることが明らかとなった。 これらの知見は, より安全なRAGシステムを高信頼領域に設計する上で, より安全な安全ガードの必要性を強調することによって, 実用的な知見を提供するものである。 再現性を実現し,今後の研究を容易にするため,実験結果はgithubリポジトリで公開されています。 https://github.com/shakibaam/RAG_ROBUSTNESS_EVAL

関連論文リスト

• Enhancing LLM Generation with Knowledge Hypergraph for Evidence-Based Medicine [22.983780823136925]
  エビデンスベースの医療(EBM)は、医療における大規模言語モデル(LLM)の適用において重要な役割を担っている。 本稿では,複数の情報源から散在する証拠をLCMを用いて収集し,知識ハイパーグラフに基づく証拠管理モデルを提案する。 本手法は,医療クイズ,幻覚検出,意思決定支援など,EMMに関心のあるアプリケーション領域において,既存のRAG技術よりも優れている。
  論文  参考訳（メタデータ） (2025-03-18T09:17:31Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索コーパスに注入された悪意のある通路が、モデルに誤った結果をもたらす可能性がある、敵の毒殺攻撃に対して脆弱である。 本稿では、RAGシステムがこのような攻撃下でどのように振る舞うか、その堅牢性がどのように改善されるかについて、厳密に制御された実証研究を示す。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• On the Vulnerability of Applying Retrieval-Augmented Generation within Knowledge-Intensive Application Domains [32.71308102835446]
  Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。 医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。 我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
  論文  参考訳（メタデータ） (2024-09-12T02:43:40Z)
• Certifiably Robust RAG against Retrieval Corruption [58.677292678310934]
  Retrieval-augmented Generation (RAG) は、回復汚職攻撃に弱いことが示されている。 本稿では,ロバストRAGを検索汚職攻撃に対する最初の防御フレームワークとして提案する。
  論文  参考訳（メタデータ） (2024-05-24T13:44:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。