論文の概要: POISONCRAFT: Practical Poisoning of Retrieval-Augmented Generation for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.06579v1
• Date: Sat, 10 May 2025 09:36:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.922879
• Title: POISONCRAFT: Practical Poisoning of Retrieval-Augmented Generation for Large Language Models
• Title（参考訳）: POISONCRAFT:大規模言語モデルのための検索拡張生成の実践的ポジショニング
• Authors: Yangguang Shao, Xinjie Lin, Haozheng Luo, Chengshang Hou, Gang Xiong, Jiahao Yu, Junzheng Shi,
• Abstract要約: 大型言語モデル(LLM)は幻覚の影響を受けやすいため、誤った結果や誤解を招く可能性がある。 Retrieval-augmented Generation (RAG) は、外部知識源を活用することで幻覚を緩和する有望なアプローチである。 本稿では,POISONCRAFTと呼ばれるRAGシステムに対する中毒攻撃について検討する。
• 参考スコア（独自算出の注目度）: 4.620537391830117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable success in various domains, primarily due to their strong capabilities in reasoning and generating human-like text. Despite their impressive performance, LLMs are susceptible to hallucinations, which can lead to incorrect or misleading outputs. This is primarily due to the lack of up-to-date knowledge or domain-specific information. Retrieval-augmented generation (RAG) is a promising approach to mitigate hallucinations by leveraging external knowledge sources. However, the security of RAG systems has not been thoroughly studied. In this paper, we study a poisoning attack on RAG systems named POISONCRAFT, which can mislead the model to refer to fraudulent websites. Compared to existing poisoning attacks on RAG systems, our attack is more practical as it does not require access to the target user query's info or edit the user query. It not only ensures that injected texts can be retrieved by the model, but also ensures that the LLM will be misled to refer to the injected texts in its response. We demonstrate the effectiveness of POISONCRAFTacross different datasets, retrievers, and language models in RAG pipelines, and show that it remains effective when transferred across retrievers, including black-box systems. Moreover, we present a case study revealing how the attack influences both the retrieval behavior and the step-by-step reasoning trace within the generation model, and further evaluate the robustness of POISONCRAFTunder multiple defense mechanisms. These results validate the practicality of our threat model and highlight a critical security risk for RAG systems deployed in real-world applications. We release our code\footnote{https://github.com/AndyShaw01/PoisonCraft} to support future research on the security and robustness of RAG systems in real-world settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、主に人間のようなテキストを推論し生成する能力によって、様々な領域で顕著な成功を収めている。 優れた性能にもかかわらず、LLMは幻覚の影響を受けやすいため、誤った結果や誤解を招く可能性がある。 これは主に、最新の知識やドメイン固有の情報が欠けているためです。 Retrieval-augmented Generation (RAG) は、外部知識源を活用することで幻覚を緩和する有望なアプローチである。 しかしながら、RAGシステムのセキュリティは十分に研究されていない。 本稿では,POISONCRAFTと呼ばれるRAGシステムに対する中毒攻撃について検討する。 RAGシステムに対する既存の中毒攻撃と比較して、ターゲットのユーザクエリの情報にアクセスしたり、ユーザクエリを編集したりする必要がなくなるため、我々の攻撃はより実践的です。 注入されたテキストがモデルによって検索可能であることを保証するだけでなく、LDMがその応答で注入されたテキストを参照するように誤解されることを保証する。 我々は,RAGパイプラインにおける異なるデータセット,検索者,言語モデル間のPOISONCRAFTの有効性を実証し,ブラックボックスシステムを含む検索者間で転送しても有効であることを示す。 さらに,攻撃が生成モデル内の検索行動とステップバイステップの推論トレースの両方に与える影響を明らかにし,POISONCRAFTunder多重防御機構の堅牢性を評価する。 これらの結果は,脅威モデルの実用性を検証するとともに,現実のアプリケーションにデプロイされたRAGシステムにとって重要なセキュリティリスクを浮き彫りにする。 われわれのCode\footnote{https://github.com/AndyShaw01/PoisonCraft}をリリースした。

関連論文リスト

• Defending Against Knowledge Poisoning Attacks During Retrieval-Augmented Generation [9.625480143413405]
  Retrieval-Augmented Generation (RAG)は,大規模言語モデル(LLM)の能力向上のための強力なアプローチとして登場した。 そのような攻撃の1つはPoisonedRAGで、注入された敵のテキストがモデルを操り、ターゲットの質問に対する攻撃長応答を生成する。 我々は,PoisonedRAG攻撃を緩和するために,新しい防御手法であるFilterRAGとML-FilterRAGを提案する。
  論文  参考訳（メタデータ） (2025-08-04T19:03:52Z)
• Bias Amplification in RAG: Poisoning Knowledge Retrieval to Steer LLMs [17.364495894862902]
  大規模言語モデルでは、検索拡張生成(RAG)システムは、外部知識を統合することで、大規模言語モデルの性能を大幅に向上させることができる。 既存の研究は主に、RAGシステムにおける中毒攻撃が、モデルバイアスを増幅する可能性を見越して、モデル出力品質にどのように影響するかに焦点を当てている。 本稿では,言語モデルのバイアスを増幅する攻撃経路を体系的に調査するBias Retrieval and Reward Attack(BRRA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T02:28:46Z)
• Chain-of-Thought Poisoning Attacks against R1-based Retrieval-Augmented Generation Systems [39.05753852489526]
  既存の敵攻撃法は通常、知識ベース中毒を利用してRAGシステムの脆弱性を調査する。 本稿では、R1ベースのRAGシステムからの推論プロセステンプレートを用いて、誤った知識を敵の文書にラップし、それらを知識ベースに注入してRAGシステムを攻撃する。 提案手法の鍵となる考え方は,モデルのトレーニング信号に一致したチェーン・オブ・シンクレット・パターンをシミュレートすることで,正史的推論プロセスとしてモデルによって誤解される可能性がある,というものである。
  論文  参考訳（メタデータ） (2025-05-22T08:22:46Z)
• Traceback of Poisoning Attacks to Retrieval-Augmented Generation [10.19539347377776]
  研究によると、RAGの毒殺攻撃に対する感受性が明らかとなり、攻撃者は知識データベースに有毒なテキストを注入した。 既存の防衛は、主に推論時間の緩和に焦点を当てており、高度な攻撃に対して不十分であることが証明されている。 本稿では,RAGの最初のトレースバックシステムであるRAGForensicsを紹介し,攻撃に責任を持つ知識データベース内の有毒テキストを識別する。
  論文  参考訳（メタデータ） (2025-04-30T14:10:02Z)
• Practical Poisoning Attacks against Retrieval-Augmented Generation [9.320227105592917]
  大規模言語モデル(LLM)は、印象的な自然言語処理能力を示しているが、幻覚や時代遅れの知識といった課題に直面している。 Retrieval-Augmented Generation (RAG)は、これらの問題を緩和するための最先端のアプローチとして登場した。 我々は、攻撃者が1つの有毒テキストだけを注入するRAGシステムに対する実用的な中毒攻撃であるCorruptRAGを提案する。
  論文  参考訳（メタデータ） (2025-04-04T21:49:42Z)
• Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
  マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる 本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-08T15:46:38Z)
• MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [109.53357276796655]
  Retrieval Augmented Generation (RAG) を備えたマルチモーダル大言語モデル(MLLM) RAGはクエリ関連外部知識の応答を基盤としてMLLMを強化する。 この依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを生じさせる。 本稿では,2つの攻撃戦略を持つ新しい知識中毒攻撃フレームワークMM-PoisonRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:23:59Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• RevPRAG: Revealing Poisoning Attacks in Retrieval-Augmented Generation through LLM Activation Analysis [3.706288937295861]
  RevPRAGは、LLMの活性化を利用した、柔軟で自動化された検出パイプラインである。 複数のベンチマークデータセットとRAGアーキテクチャによる結果から,提案手法は真正の98%,偽正の1%に近い正の98%を達成できた。
  論文  参考訳（メタデータ） (2024-11-28T06:29:46Z)
• Backdoored Retrievers for Prompt Injection Attacks on Retrieval Augmented Generation of Large Language Models [0.0]
  Retrieval Augmented Generation (RAG)は、大規模言語モデルと最新の情報検索を組み合わせることでこの問題に対処する。 本稿では、誤報以外の有害な目的に焦点をあて、RAGに対する即時注射攻撃について検討する。 我々は,既存のコーパス中毒技術を構築し,高密度レトリバー部品の微調整を目的とした新しいバックドアアタックを提案する。
  論文  参考訳（メタデータ） (2024-10-18T14:02:34Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• The Good and The Bad: Exploring Privacy Issues in Retrieval-Augmented Generation (RAG) [56.67603627046346]
  Retrieval-augmented Generation (RAG)は、プロプライエタリおよびプライベートデータによる言語モデルを容易にする強力な技術である。 本研究では,プライベート検索データベースの漏洩に対するRAGシステムの脆弱性を実証する,新たな攻撃手法による実証的研究を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:35:15Z)
• PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models [45.409248316497674]
  大規模言語モデル(LLM)は、その例外的な生成能力により、顕著な成功を収めた。 Retrieval-Augmented Generation (RAG)は、これらの制限を緩和するための最先端技術である。 RAGシステムにおける知識データベースは,新たな,実用的な攻撃面を導入している。 この攻撃面に基づいて,RAGに対する最初の知識汚職攻撃であるPoisonedRAGを提案する。
  論文  参考訳（メタデータ） (2024-02-12T18:28:36Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。