論文の概要: Defending Against Knowledge Poisoning Attacks During Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2508.02835v1
• Date: Mon, 04 Aug 2025 19:03:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.652059
• Title: Defending Against Knowledge Poisoning Attacks During Retrieval-Augmented Generation
• Title（参考訳）: 検索型世代における知識中毒対策
• Authors: Kennedy Edemacu, Vinay M. Shashidhar, Micheal Tuape, Dan Abudu, Beakcheol Jang, Jong Wook Kim,
• Abstract要約: Retrieval-Augmented Generation (RAG)は,大規模言語モデル(LLM)の能力向上のための強力なアプローチとして登場した。 そのような攻撃の1つはPoisonedRAGで、注入された敵のテキストがモデルを操り、ターゲットの質問に対する攻撃長応答を生成する。 我々は,PoisonedRAG攻撃を緩和するために,新しい防御手法であるFilterRAGとML-FilterRAGを提案する。
• 参考スコア（独自算出の注目度）: 9.625480143413405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) has emerged as a powerful approach to boost the capabilities of large language models (LLMs) by incorporating external, up-to-date knowledge sources. However, this introduces a potential vulnerability to knowledge poisoning attacks, where attackers can compromise the knowledge source to mislead the generation model. One such attack is the PoisonedRAG in which the injected adversarial texts steer the model to generate an attacker-chosen response to a target question. In this work, we propose novel defense methods, FilterRAG and ML-FilterRAG, to mitigate the PoisonedRAG attack. First, we propose a new property to uncover distinct properties to differentiate between adversarial and clean texts in the knowledge data source. Next, we employ this property to filter out adversarial texts from clean ones in the design of our proposed approaches. Evaluation of these methods using benchmark datasets demonstrate their effectiveness, with performances close to those of the original RAG systems.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、外部の最新の知識ソースを組み込むことで、大規模言語モデル(LLM)の能力を高める強力なアプローチとして登場した。 しかし、これは知識中毒攻撃の潜在的な脆弱性を導入し、攻撃者は知識源を妥協して生成モデルを誤解させることができる。 そのような攻撃の1つはPoisonedRAGで、注入された敵のテキストがモデルを操り、ターゲットの質問に対する攻撃長応答を生成する。 本研究では,PoisonedRAG攻撃を軽減すべく,新しい防御手法であるFilterRAGとML-FilterRAGを提案する。 まず,知識データソースの逆テキストとクリーンテキストを区別するために,異なる特性を明らかにするための新しいプロパティを提案する。 次に,この特性を用いて,提案手法の設計において,クリーンテキストから逆テキストをフィルタリングする。 ベンチマークデータセットを用いてこれらの手法の評価を行った結果,従来のRAGシステムに近い性能を示した。

関連論文リスト

• The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
  本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。 このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。 本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:19:25Z)
• Chain-of-Thought Poisoning Attacks against R1-based Retrieval-Augmented Generation Systems [39.05753852489526]
  既存の敵攻撃法は通常、知識ベース中毒を利用してRAGシステムの脆弱性を調査する。 本稿では、R1ベースのRAGシステムからの推論プロセステンプレートを用いて、誤った知識を敵の文書にラップし、それらを知識ベースに注入してRAGシステムを攻撃する。 提案手法の鍵となる考え方は,モデルのトレーニング信号に一致したチェーン・オブ・シンクレット・パターンをシミュレートすることで,正史的推論プロセスとしてモデルによって誤解される可能性がある,というものである。
  論文  参考訳（メタデータ） (2025-05-22T08:22:46Z)
• POISONCRAFT: Practical Poisoning of Retrieval-Augmented Generation for Large Language Models [4.620537391830117]
  大型言語モデル(LLM)は幻覚の影響を受けやすいため、誤った結果や誤解を招く可能性がある。 Retrieval-augmented Generation (RAG) は、外部知識源を活用することで幻覚を緩和する有望なアプローチである。 本稿では,POISONCRAFTと呼ばれるRAGシステムに対する中毒攻撃について検討する。
  論文  参考訳（メタデータ） (2025-05-10T09:36:28Z)
• Traceback of Poisoning Attacks to Retrieval-Augmented Generation [10.19539347377776]
  研究によると、RAGの毒殺攻撃に対する感受性が明らかとなり、攻撃者は知識データベースに有毒なテキストを注入した。 既存の防衛は、主に推論時間の緩和に焦点を当てており、高度な攻撃に対して不十分であることが証明されている。 本稿では,RAGの最初のトレースバックシステムであるRAGForensicsを紹介し,攻撃に責任を持つ知識データベース内の有毒テキストを識別する。
  論文  参考訳（メタデータ） (2025-04-30T14:10:02Z)
• Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
  マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる 本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-08T15:46:38Z)
• MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [109.53357276796655]
  Retrieval Augmented Generation (RAG) を備えたマルチモーダル大言語モデル(MLLM) RAGはクエリ関連外部知識の応答を基盤としてMLLMを強化する。 この依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを生じさせる。 本稿では,2つの攻撃戦略を持つ新しい知識中毒攻撃フレームワークMM-PoisonRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:23:59Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation of Large Language Models [45.409248316497674]
  大規模言語モデル(LLM)は、その例外的な生成能力により、顕著な成功を収めた。 Retrieval-Augmented Generation (RAG)は、これらの制限を緩和するための最先端技術である。 RAGシステムにおける知識データベースは,新たな,実用的な攻撃面を導入している。 この攻撃面に基づいて,RAGに対する最初の知識汚職攻撃であるPoisonedRAGを提案する。
  論文  参考訳（メタデータ） (2024-02-12T18:28:36Z)
• Targeted Attack Improves Protection against Unauthorized Diffusion Customization [3.1678356835951273]
  拡散モデルは画像生成の新たなマイルストーンを築き、公共の関心を喚起する。 カスタマイズのために、未許可の画像に微調整できる。 標的外攻撃を利用した現在の保護は、十分に効果がないように見える。 ターゲット攻撃の導入により、不正拡散のカスタマイズに対する保護をシンプルかつ効果的に行うことを提案する。
  論文  参考訳（メタデータ） (2023-10-07T05:24:42Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Adversarial Example Games [51.92698856933169]
  Adrial Example Games (AEG) は、敵の例の製作をモデル化するフレームワークである。 AEGは、ある仮説クラスからジェネレータとアバーサを反対に訓練することで、敵の例を設計する新しい方法を提供する。 MNIST と CIFAR-10 データセットに対する AEG の有効性を示す。
  論文  参考訳（メタデータ） (2020-07-01T19:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。