論文の概要: Chain-of-Thought Poisoning Attacks against R1-based Retrieval-Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2505.16367v1
• Date: Thu, 22 May 2025 08:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.143477
• Title: Chain-of-Thought Poisoning Attacks against R1-based Retrieval-Augmented Generation Systems
• Title（参考訳）: R1をベースとした検索型生成システムに対するチェーン・オブ・ソート・ポジショニング攻撃
• Authors: Hongru Song, Yu-an Liu, Ruqing Zhang, Jiafeng Guo, Yixing Fan,
• Abstract要約: 既存の敵攻撃法は通常、知識ベース中毒を利用してRAGシステムの脆弱性を調査する。 本稿では、R1ベースのRAGシステムからの推論プロセステンプレートを用いて、誤った知識を敵の文書にラップし、それらを知識ベースに注入してRAGシステムを攻撃する。 提案手法の鍵となる考え方は,モデルのトレーニング信号に一致したチェーン・オブ・シンクレット・パターンをシミュレートすることで,正史的推論プロセスとしてモデルによって誤解される可能性がある,というものである。
• 参考スコア（独自算出の注目度）: 39.05753852489526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) systems can effectively mitigate the hallucination problem of large language models (LLMs),but they also possess inherent vulnerabilities. Identifying these weaknesses before the large-scale real-world deployment of RAG systems is of great importance, as it lays the foundation for building more secure and robust RAG systems in the future. Existing adversarial attack methods typically exploit knowledge base poisoning to probe the vulnerabilities of RAG systems, which can effectively deceive standard RAG models. However, with the rapid advancement of deep reasoning capabilities in modern LLMs, previous approaches that merely inject incorrect knowledge are inadequate when attacking RAG systems equipped with deep reasoning abilities. Inspired by the deep thinking capabilities of LLMs, this paper extracts reasoning process templates from R1-based RAG systems, uses these templates to wrap erroneous knowledge into adversarial documents, and injects them into the knowledge base to attack RAG systems. The key idea of our approach is that adversarial documents, by simulating the chain-of-thought patterns aligned with the model's training signals, may be misinterpreted by the model as authentic historical reasoning processes, thus increasing their likelihood of being referenced. Experiments conducted on the MS MARCO passage ranking dataset demonstrate the effectiveness of our proposed method.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) システムは、大規模言語モデル(LLM)の幻覚問題を効果的に軽減することができるが、固有の脆弱性も持っている。 RAGシステムを大規模に展開する前にこれらの弱点を特定することは、将来的によりセキュアで堅牢なRAGシステムを構築するための基盤となるため、非常に重要である。 既存の敵攻撃法は、通常、知識ベース中毒を利用してRAGシステムの脆弱性を調査し、標準的なRAGモデルを効果的に欺くことができる。 しかし、現代のLLMにおける深い推論能力の急速な進歩により、深い推論能力を備えたRAGシステムを攻撃する際には、誤った知識を単に注入するだけでは不十分であった。 LLMの深い思考能力に触発された本論文は、R1ベースのRAGシステムから推論プロセステンプレートを抽出し、これらのテンプレートを用いて、誤った知識を逆文書にラップし、RAGシステムを攻撃するための知識ベースに注入する。 提案手法の鍵となる考え方は,モデルのトレーニング信号に一致したチェーン・オブ・シンドロームパターンをシミュレートすることで,モデルによって真の歴史的推論プロセスとして誤解され,参照される可能性を高めることである。 提案手法の有効性を示すため,MS MARCOパスランキングデータセットを用いた実験を行った。

関連論文リスト

• POISONCRAFT: Practical Poisoning of Retrieval-Augmented Generation for Large Language Models [4.620537391830117]
  大型言語モデル(LLM)は幻覚の影響を受けやすいため、誤った結果や誤解を招く可能性がある。 Retrieval-augmented Generation (RAG) は、外部知識源を活用することで幻覚を緩和する有望なアプローチである。 本稿では,POISONCRAFTと呼ばれるRAGシステムに対する中毒攻撃について検討する。
  論文  参考訳（メタデータ） (2025-05-10T09:36:28Z)
• Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
  マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる 本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-08T15:46:38Z)
• The RAG Paradox: A Black-Box Attack Exploiting Unintentional Vulnerabilities in Retrieval-Augmented Generation Systems [8.347617177093056]
  我々はRAGパラドックスに基づく現実的なブラックボックス攻撃シナリオを導入し、RAGシステムは不注意に脆弱性を暴露し、信頼性を高めようとする。 RAGシステムは応答生成時に外部文書を参照するため、攻撃は内部アクセスを必要とせずにこれらのソースを標的とします。 提案手法はまず、RAGシステムによって開示された外部ソースを特定し、これらのソースにマッチするように設計された誤情報を含む有毒な文書を自動的に生成する。
  論文  参考訳（メタデータ） (2025-02-28T12:32:53Z)
• MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [109.53357276796655]
  Retrieval Augmented Generation (RAG) を備えたマルチモーダル大言語モデル(MLLM) RAGはクエリ関連外部知識の応答を基盤としてMLLMを強化する。 この依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを生じさせる。 本稿では,2つの攻撃戦略を持つ新しい知識中毒攻撃フレームワークMM-PoisonRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:23:59Z)
• Pirates of the RAG: Adaptively Attacking LLMs to Leak Knowledge Bases [11.101624331624933]
  本稿では,RAGシステムにプライベート知識ベースを漏洩させるブラックボックス攻撃を提案する。 関連性に基づくメカニズムとアタッカーサイドのオープンソース LLM は、(隠された)知識ベースの大部分をリークする効果的なクエリの生成を好んでいる。
  論文  参考訳（メタデータ） (2024-12-24T09:03:57Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• LoRec: Large Language Model for Robust Sequential Recommendation against Poisoning Attacks [60.719158008403376]
  本研究は,リコメンデータシステムにおける未知の不正行為の検出におけるLarge Language Models(LLM)の機能に着目した。 逐次リコメンデータシステムのロバスト性を高めるため,LLM強化を利用した高度なフレームワークであるLoRecを提案する。 総合的な実験により、LoRecは一般的なフレームワークとして、シーケンシャルなレコメンデータシステムの堅牢性を大幅に強化することを示した。
  論文  参考訳（メタデータ） (2024-01-31T10:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。