論文の概要: Poison-RAG: Adversarial Data Poisoning Attacks on Retrieval-Augmented Generation in Recommender Systems

• arxiv url: http://arxiv.org/abs/2501.11759v1
• Date: Mon, 20 Jan 2025 21:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:19:22.011827
• Title: Poison-RAG: Adversarial Data Poisoning Attacks on Retrieval-Augmented Generation in Recommender Systems
• Title（参考訳）: Poison-RAG:RecommenderシステムにおけるRetrieval-Augmented Generationに対する逆データポジショニング攻撃
• Authors: Fatemeh Nazary, Yashar Deldjoo, Tommaso di Noia,
• Abstract要約: 本研究では,レコメンデーターシステムを対象とした敵対的データ中毒攻撃のためのフレームワークであるPoison-RAGを提案する。 大規模言語モデル(LLM)から生成されたアイテムメタデータとOpenAI APIから派生した埋め込みを用いて,プロバイダ側における敵の毒殺攻撃の影響について検討する。 ブラックボックス設定でMovieLensデータセットで実施された実験では、ローカル戦略が操作効率を最大50%改善し、グローバル戦略がすでに人気のあるアイテムを増やすリスクがあることが示された。
• 参考スコア（独自算出の注目度）: 15.973406739758856
• License:
• Abstract: This study presents Poison-RAG, a framework for adversarial data poisoning attacks targeting retrieval-augmented generation (RAG)-based recommender systems. Poison-RAG manipulates item metadata, such as tags and descriptions, to influence recommendation outcomes. Using item metadata generated through a large language model (LLM) and embeddings derived via the OpenAI API, we explore the impact of adversarial poisoning attacks on provider-side, where attacks are designed to promote long-tail items and demote popular ones. Two attack strategies are proposed: local modifications, which personalize tags for each item using BERT embeddings, and global modifications, applying uniform tags across the dataset. Experiments conducted on the MovieLens dataset in a black-box setting reveal that local strategies improve manipulation effectiveness by up to 50\%, while global strategies risk boosting already popular items. Results indicate that popular items are more susceptible to attacks, whereas long-tail items are harder to manipulate. Approximately 70\% of items lack tags, presenting a cold-start challenge; data augmentation and synthesis are proposed as potential defense mechanisms to enhance RAG-based systems' resilience. The findings emphasize the need for robust metadata management to safeguard recommendation frameworks. Code and data are available at https://github.com/atenanaz/Poison-RAG.
• Abstract（参考訳）: 本研究では,検索強化世代(RAG)に基づくレコメンデータシステムを対象とした,敵対的データ中毒攻撃のためのフレームワークであるPoison-RAGを提案する。 Poison-RAGは、タグや記述などのアイテムメタデータを操作してレコメンデーション結果に影響を与える。 大規模言語モデル(LLM)から生成されたアイテムメタデータとOpenAI API経由で派生した埋め込みを使用して,プロバイダ側における敵毒攻撃の影響を調査する。 BERT埋め込みを使用して各項目のタグをパーソナライズするローカル修正と、データセット全体に均一なタグを適用するグローバル修正の2つの攻撃戦略が提案されている。 ブラックボックス設定でMovieLensデータセットで実施された実験では、ローカル戦略が操作効率を最大50%改善し、グローバル戦略がすでに人気があるアイテムを増やすリスクがあることが示された。 その結果、一般的なアイテムは攻撃を受けやすいが、ロングテールアイテムは操作が難しいことが示唆された。 約70%のアイテムはタグを欠き、コールドスタートの課題を示し、RAGベースのシステムのレジリエンスを高めるための潜在的な防御メカニズムとしてデータ拡張と合成が提案されている。 この発見は、レコメンデーションフレームワークを保護するための堅牢なメタデータ管理の必要性を強調している。 コードとデータはhttps://github.com/atenanaz/Poison-RAG.comで公開されている。

関連論文リスト

• Rag and Roll: An End-to-End Evaluation of Indirect Prompt Manipulations in LLM-based Application Frameworks [12.061098193438022]
  Retrieval Augmented Generation (RAG) は、分散知識を欠くモデルによく用いられる手法である。 本稿では,RAGシステムのエンドツーエンドの間接的なプロンプト操作に対する安全性について検討する。
  論文  参考訳（メタデータ） (2024-08-09T12:26:05Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Corpus Poisoning via Approximate Greedy Gradient Descent [48.5847914481222]
  本稿では,HotFlip法をベースとした高密度検索システムに対する新たな攻撃手法として,近似グレディ・グラディエント・Descentを提案する。 提案手法は,複数のデータセットと複数のレトリバーを用いて高い攻撃成功率を達成し,未知のクエリや新しいドメインに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-07T17:02:35Z)
• BadRAG: Identifying Vulnerabilities in Retrieval Augmented Generation of Large Language Models [18.107026036897132]
  大規模言語モデル(LLM)は時代遅れの情報と誤ったデータを生成する傾向によって制約される。 Retrieval-Augmented Generation (RAG) は、検索手法の強みと生成モデルを組み合わせることで、これらの制限に対処する。 RAG は LLM に対する新たな攻撃面を導入している。特に RAG データベースは Web などの公開データからしばしば引き出されるためである。
  論文  参考訳（メタデータ） (2024-06-03T02:25:33Z)
• Is My Data in Your Retrieval Database? Membership Inference Attacks Against Retrieval Augmented Generation [0.9217021281095907]
  本稿では,RAGシステムに対して,メンバーシップ推論攻撃(MIA)を行うための効率的かつ使いやすい手法を提案する。 2つのベンチマークデータセットと複数の生成モデルを用いて攻撃の有効性を示す。 本研究は,RAGシステムにおけるセキュリティ対策の実施の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-05-30T19:46:36Z)
• Model Stealing Attack against Recommender System [85.1927483219819]
  いくつかの敵攻撃は、レコメンデーターシステムに対するモデル盗難攻撃を成し遂げた。 本稿では、利用可能なターゲットデータとクエリの量を制限し、対象データとセットされたアイテムを共有する補助データを活用して、モデル盗難攻撃を促進する。
  論文  参考訳（メタデータ） (2023-12-18T05:28:02Z)
• Autoregressive Perturbations for Data Poisoning [54.205200221427994]
  ソーシャルメディアからのデータスクレイピングは、不正なデータの使用に関する懸念が高まっている。 データ中毒攻撃は、スクラップ対策として提案されている。 より広範なデータセットにアクセスせずに有毒なデータを生成できる自動回帰(AR)中毒を導入する。
  論文  参考訳（メタデータ） (2022-06-08T06:24:51Z)
• PipAttack: Poisoning Federated Recommender Systems forManipulating Item Promotion [58.870444954499014]
  一般的な実践は、分散化された連邦学習パラダイムの下でレコメンデーターシステムをサブスクライブすることである。 本稿では,対象項目の促進のために,フェデレートされたレコメンデータシステムをバックドア化するための体系的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-21T06:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。