論文の概要: RAG Safety: Exploring Knowledge Poisoning Attacks to Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2507.08862v1
- Date: Wed, 09 Jul 2025 13:06:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:21.571143
- Title: RAG Safety: Exploring Knowledge Poisoning Attacks to Retrieval-Augmented Generation
- Title（参考訳）: RAGの安全性: 検索機能強化された世代に対する、知識中毒の攻撃を探る
- Authors: Tianzhe Zhao, Jiaoyan Chen, Yanchi Ru, Haiping Zhu, Nan Hu, Jun Liu, Qika Lin,
- Abstract要約: データ中毒攻撃によるKG-RAG法の安全性に関する最初の体系的な調査を行う。
そこで本研究では,まず敵の目標解を識別し,次に摂動三重項を挿入して,KGにおける誤った推論連鎖を完遂する攻撃戦略を提案する。
我々の攻撃戦略は、最小限のKG摂動であっても、KG-RAG性能の劣化に強い効果を示す。
- 参考スコア（独自算出の注目度）: 18.37883896362874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) enhances large language models (LLMs) by retrieving external data to mitigate hallucinations and outdated knowledge issues. Benefiting from the strong ability in facilitating diverse data sources and supporting faithful reasoning, knowledge graphs (KGs) have been increasingly adopted in RAG systems, giving rise to KG-based RAG (KG-RAG) methods. Though RAG systems are widely applied in various applications, recent studies have also revealed its vulnerabilities to data poisoning attacks, where malicious information injected into external knowledge sources can mislead the system into producing incorrect or harmful responses. However, these studies focus exclusively on RAG systems using unstructured textual data sources, leaving the security risks of KG-RAG largely unexplored, despite the fact that KGs present unique vulnerabilities due to their structured and editable nature. In this work, we conduct the first systematic investigation of the security issue of KG-RAG methods through data poisoning attacks. To this end, we introduce a practical, stealthy attack setting that aligns with real-world implementation. We propose an attack strategy that first identifies adversarial target answers and then inserts perturbation triples to complete misleading inference chains in the KG, increasing the likelihood that KG-RAG methods retrieve and rely on these perturbations during generation. Through extensive experiments on two benchmarks and four recent KG-RAG methods, our attack strategy demonstrates strong effectiveness in degrading KG-RAG performance, even with minimal KG perturbations. In-depth analyses are also conducted to understand the safety threats within the internal stages of KG-RAG systems and to explore the robustness of LLMs against adversarial knowledge.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、幻覚や古い知識問題を緩和するために外部データを取得することで、大きな言語モデル(LLM)を強化する。
多様なデータソースの促進と忠実な推論を支援する強力な能力から、知識グラフ(KG)がRAGシステムに採用され、KGベースのRAG(KG-RAG)手法が生まれている。
RAGシステムは様々な用途に広く応用されているが、最近の研究では、外部の知識ソースに注入された悪意のある情報がシステムに誤ったまたは有害な応答をもたらす可能性があるデータ中毒攻撃の脆弱性も明らかにしている。
しかしながら、これらの研究は構造化されていないテキストデータソースを用いたRAGシステムにのみ焦点をあて、KG-RAGのセキュリティリスクは、KGが構造的で編集可能な性質のためにユニークな脆弱性を示すにもかかわらず、ほとんど未発見のままである。
本研究は,KG-RAG法の安全性に関する最初の体系的な研究である。
この目的のために、実世界の実装と整合した実用的でステルス的なアタック・セッティングを導入する。
そこで我々は,KG-RAG法が生成過程においてこれらの摂動を回復・依存する可能性を高めるために,まず敵の目標解を識別し,次に摂動三重項を挿入する攻撃戦略を提案する。
2つのベンチマークと4つの最近のKG-RAG手法に関する広範な実験を通じて、我々の攻撃戦略はKG-RAG性能を最小限のKG摂動でも低下させる強い効果を示す。
また、KG-RAGシステムの内部段階における安全性の脅威を解明し、敵対的知識に対するLLMの堅牢性を探るため、詳細な分析を行った。
関連論文リスト
- Defending Against Knowledge Poisoning Attacks During Retrieval-Augmented Generation [9.625480143413405]
Retrieval-Augmented Generation (RAG)は,大規模言語モデル(LLM)の能力向上のための強力なアプローチとして登場した。
そのような攻撃の1つはPoisonedRAGで、注入された敵のテキストがモデルを操り、ターゲットの質問に対する攻撃長応答を生成する。
我々は,PoisonedRAG攻撃を緩和するために,新しい防御手法であるFilterRAGとML-FilterRAGを提案する。
論文 参考訳（メタデータ） (2025-08-04T19:03:52Z) - KG-Infused RAG: Augmenting Corpus-Based RAG with External Knowledge Graphs [66.35046942874737]
KG-Infused RAGは、拡散活性化を実装するためにKGをRAGシステムに統合するフレームワークである。
KG-Infused RAGはKGの事実を検索し、クエリを拡張し、コーパスと構造化された事実を組み合わせることで生成を強化する。
論文 参考訳（メタデータ） (2025-06-11T09:20:02Z) - The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。
このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。
本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
論文 参考訳（メタデータ） (2025-05-24T08:19:25Z) - Chain-of-Thought Poisoning Attacks against R1-based Retrieval-Augmented Generation Systems [39.05753852489526]
既存の敵攻撃法は通常、知識ベース中毒を利用してRAGシステムの脆弱性を調査する。
本稿では、R1ベースのRAGシステムからの推論プロセステンプレートを用いて、誤った知識を敵の文書にラップし、それらを知識ベースに注入してRAGシステムを攻撃する。
提案手法の鍵となる考え方は,モデルのトレーニング信号に一致したチェーン・オブ・シンクレット・パターンをシミュレートすることで,正史的推論プロセスとしてモデルによって誤解される可能性がある,というものである。
論文 参考訳（メタデータ） (2025-05-22T08:22:46Z) - Evaluating Knowledge Graph Based Retrieval Augmented Generation Methods under Knowledge Incompleteness [25.74411097212245]
KG-RAG(Knowledge Graph based Retrieval-Augmented Generation)は、質問回答(QA)のようなタスクにおける大規模言語モデル(LLM)推論を強化する手法である。
既存のベンチマークでは、KG-RAG性能に対するKGの不完全性の影響を適切に捉えていない。
我々は、KG-RAG法がKGの不完全性に敏感であることを示し、現実的な設定においてより堅牢なアプローチの必要性を強調した。
論文 参考訳（メタデータ） (2025-04-07T15:08:03Z) - MES-RAG: Bringing Multi-modal, Entity-Storage, and Secure Enhancements to RAG [65.0423152595537]
本稿では,エンティティ固有のクエリ処理を強化し,正確でセキュアで一貫した応答を提供するMES-RAGを提案する。
MES-RAGは、データアクセスの前に保護を適用してシステムの整合性を確保するための積極的なセキュリティ対策を導入している。
実験の結果,MES-RAGは精度とリコールの両方を著しく改善し,質問応答の安全性と有用性を向上する効果が示された。
論文 参考訳（メタデータ） (2025-03-17T08:09:42Z) - Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる
本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
論文 参考訳（メタデータ） (2025-03-08T15:46:38Z) - MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [109.53357276796655]
Retrieval Augmented Generation (RAG) を備えたマルチモーダル大言語モデル(MLLM)
RAGはクエリ関連外部知識の応答を基盤としてMLLMを強化する。
この依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを生じさせる。
本稿では,2つの攻撃戦略を持つ新しい知識中毒攻撃フレームワークMM-PoisonRAGを提案する。
論文 参考訳（メタデータ） (2025-02-25T04:23:59Z) - Pirates of the RAG: Adaptively Attacking LLMs to Leak Knowledge Bases [11.101624331624933]
本稿では,RAGシステムにプライベート知識ベースを漏洩させるブラックボックス攻撃を提案する。
関連性に基づくメカニズムとアタッカーサイドのオープンソース LLM は、(隠された)知識ベースの大部分をリークする効果的なクエリの生成を好んでいる。
論文 参考訳（メタデータ） (2024-12-24T09:03:57Z) - HijackRAG: Hijacking Attacks against Retrieval-Augmented Large Language Models [18.301965456681764]
我々は、新しい脆弱性、検索プロンプトハイジャック攻撃(HijackRAG)を明らかにする。
HijackRAGは、悪意のあるテキストを知識データベースに注入することで、攻撃者がRAGシステムの検索機構を操作できるようにする。
攻撃者の知識の異なるレベルに合わせたブラックボックスとホワイトボックスの攻撃戦略を提案する。
論文 参考訳（メタデータ） (2024-10-30T09:15:51Z) - On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。
我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。
ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
論文 参考訳（メタデータ） (2023-05-03T18:47:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。