論文の概要: Exploring Backdoor Attack and Defense for LLM-empowered Recommendations

• arxiv url: http://arxiv.org/abs/2504.11182v1
• Date: Tue, 15 Apr 2025 13:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:48.778584
• Title: Exploring Backdoor Attack and Defense for LLM-empowered Recommendations
• Title（参考訳）: LLMを活用したリコメンデーションのためのバックドアアタックと防御の探索
• Authors: Liangbo Ning, Wenqi Fan, Qing Li,
• Abstract要約: 本稿では,RecSys(BadRec)に対するバックドアインジェクション・ポジショニング(Backdoor Injection Poisoning)と呼ばれる新たな攻撃フレームワークを提案する。 BadRecはアイテムのタイトルをトリガーで混乱させ、いくつかの偽のユーザーを使ってこれらのアイテムと対話し、トレーニングセットを効果的に毒化し、RecSysにバックドアを注入する。 我々は,このようなセキュリティの脅威を軽減するため,ポゾン・スキャンナー(P-Scanner)と呼ばれるユニバーサル・ディフェンス戦略を提案する。
• 参考スコア（独自算出の注目度）: 15.098844020816552
• License:
• Abstract: The fusion of Large Language Models (LLMs) with recommender systems (RecSys) has dramatically advanced personalized recommendations and drawn extensive attention. Despite the impressive progress, the safety of LLM-based RecSys against backdoor attacks remains largely under-explored. In this paper, we raise a new problem: Can a backdoor with a specific trigger be injected into LLM-based Recsys, leading to the manipulation of the recommendation responses when the backdoor trigger is appended to an item's title? To investigate the vulnerabilities of LLM-based RecSys under backdoor attacks, we propose a new attack framework termed Backdoor Injection Poisoning for RecSys (BadRec). BadRec perturbs the items' titles with triggers and employs several fake users to interact with these items, effectively poisoning the training set and injecting backdoors into LLM-based RecSys. Comprehensive experiments reveal that poisoning just 1% of the training data with adversarial examples is sufficient to successfully implant backdoors, enabling manipulation of recommendations. To further mitigate such a security threat, we propose a universal defense strategy called Poison Scanner (P-Scanner). Specifically, we introduce an LLM-based poison scanner to detect the poisoned items by leveraging the powerful language understanding and rich knowledge of LLMs. A trigger augmentation agent is employed to generate diverse synthetic triggers to guide the poison scanner in learning domain-specific knowledge of the poisoned item detection task. Extensive experiments on three real-world datasets validate the effectiveness of the proposed P-Scanner.
• Abstract（参考訳）: 大規模言語モデル(LLM)とレコメンダシステム(RecSys)の融合は、パーソナライズされたレコメンデーションを劇的に進歩させ、広く注目を集めている。 驚くべき進歩にもかかわらず、LLMベースのRecSysのバックドア攻撃に対する安全性はほとんど調査されていない。 LLMベースのRecsysに特定のトリガを持つバックドアを注入すれば、バックドアトリガがアイテムのタイトルに付加されたときのレコメンデーション応答の操作が可能になるか? バックドアアタックにおけるLLMベースのRecSysの脆弱性を調べるため,バックドアインジェクション・ポジショニング(BadRec)と呼ばれる新たな攻撃フレームワークを提案する。 BadRecはアイテムのタイトルをトリガーで混乱させ、これらのアイテムと対話するために複数の偽のユーザーを雇い、トレーニングセットを効果的に毒化し、LLMベースのRecSysにバックドアを注入する。 総合的な実験により、訓練データの1%を敵の例で中毒させることで、バックドアの移植に成功し、レコメンデーションの操作を可能にすることが判明した。 このようなセキュリティの脅威を緩和するため,我々はP-Scanner(P-Scanner)と呼ばれるユニバーサル・ディフェンス戦略を提案する。 具体的には, LLMの強力な言語理解と豊富な知識を活用して, 毒物を検出するLLMベースの毒物スキャナを提案する。 トリガー増強剤を用いて、毒物検出タスクのドメイン固有の知識を学ぶ際に、毒物スキャナーを誘導する多様な合成トリガーを生成する。 3つの実世界のデータセットに対する大規模な実験により、提案したPスキャンの有効性が検証された。

関連論文リスト

• PrivAgent: Agentic-based Red-teaming for LLM Privacy Leakage [78.33839735526769]
  LLMは、慎重に構築された敵のプロンプトの下で私的情報を出力することに騙される可能性がある。 PrivAgentは、プライバシー漏洩のための新しいブラックボックスレッドチームフレームワークである。
  論文  参考訳（メタデータ） (2024-12-07T20:09:01Z)
• When Backdoors Speak: Understanding LLM Backdoor Attacks Through Model-Generated Explanations [58.27927090394458]
  大規模言語モデル(LLM)は、バックドア攻撃に弱いことが知られている。 本稿では,自然言語説明の新しいレンズによるバックドア攻撃について検討する。 以上の結果から,バックドアモデルではクリーンな入力に対してコヒーレントな説明が得られたが,有毒なデータに対して多様かつ論理的に欠陥のある説明が得られた。
  論文  参考訳（メタデータ） (2024-11-19T18:11:36Z)
• Transferring Backdoors between Large Language Models by Knowledge Distillation [2.9138150728729064]
  バックドア攻撃は大規模言語モデル(LLM)に対する深刻な脆弱性である。 従来の手法では、特定のモデルでのみそのようなリスクを明らかにしたり、事前訓練されたフェーズを攻撃した後のタスク転送可能性を示す。 本研究では,教師LLMのバックドアを小型モデルに効果的に蒸留できる適応的トランスファー可能なバックドアアタックであるATBAを提案する。
  論文  参考訳（メタデータ） (2024-08-19T10:39:45Z)
• Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context [49.13497493053742]
  本研究は,無意味な接尾辞攻撃を状況駆動型文脈書き換えによって意味のあるプロンプトに変換することを検討する。 我々は、独立して意味のある敵の挿入と映画から派生した状況を組み合わせて、LLMを騙せるかどうかを確認します。 当社のアプローチでは,オープンソースとプロプライエタリなLLMの両方で,状況駆動型攻撃を成功させることが実証されている。
  論文  参考訳（メタデータ） (2024-07-19T19:47:26Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• BadAgent: Inserting and Activating Backdoor Attacks in LLM Agents [26.057916556444333]
  提案手法は,BadAgentというバックドア攻撃に対して脆弱であることを示す。 提案手法は信頼性のあるデータを微調整した後でも極めて堅牢である。
  論文  参考訳（メタデータ） (2024-06-05T07:14:28Z)
• TrojanRAG: Retrieval-Augmented Generation Can Be Backdoor Driver in Large Language Models [16.71019302192829]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において顕著なパフォーマンスにもかかわらず、潜在的なセキュリティ脅威に対する懸念を提起している。 バックドア攻撃は当初、LLMがあらゆる段階で重大な損害を受けていることを証明したが、コストとロバスト性は批判されている。 本稿では,Retrieval-Augmented Generationにおいて,共同でバックドア攻撃を行うTrojanRAGを提案する。
  論文  参考訳（メタデータ） (2024-05-22T07:21:32Z)
• Simulate and Eliminate: Revoke Backdoors for Generative Large Language Models [42.19147076519423]
  生成型大規模言語モデル(LLM)は、理解から推論まで、様々な自然言語処理(NLP)タスクを支配している。 悪意のある敵は、毒データをオンラインで公開し、毒データに基づいて事前訓練された被害者のLSMに対するバックドア攻撃を行うことができる。 生成LDMの不要なバックドアマッピングを除去するためにSANDE(Simulate and Eliminate)を提案する。
  論文  参考訳（メタデータ） (2024-05-13T11:53:42Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)
• RLHFPoison: Reward Poisoning Attack for Reinforcement Learning with Human Feedback in Large Language Models [62.72318564072706]
  Reinforcement Learning with Human Feedback (RLHF) は、Large Language Models (LLM) を人間の好みに合わせるために設計された方法論である。 その利点にもかかわらず、RLHFはテキストのランク付けに人間のアノテーションに依存している。 そこで我々は,ある悪意ある行動に到達するために,候補の選好ランク選択に対する中毒攻撃手法であるRancPoisonを提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。