論文の概要: AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases

• arxiv url: http://arxiv.org/abs/2407.12784v1
• Date: Wed, 17 Jul 2024 17:59:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 16:06:20.146079
• Title: AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases
• Title（参考訳）: AgentPoison: メモリや知識ベースをポジティングすることで、LLMエージェントをリピートする
• Authors: Zhaorun Chen, Zhen Xiang, Chaowei Xiao, Dawn Song, Bo Li,
• Abstract要約: 本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
• 参考スコア（独自算出の注目度）: 73.04652687616286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents have demonstrated remarkable performance across various applications, primarily due to their advanced capabilities in reasoning, utilizing external knowledge and tools, calling APIs, and executing actions to interact with environments. Current agents typically utilize a memory module or a retrieval-augmented generation (RAG) mechanism, retrieving past knowledge and instances with similar embeddings from knowledge bases to inform task planning and execution. However, the reliance on unverified knowledge bases raises significant concerns about their safety and trustworthiness. To uncover such vulnerabilities, we propose a novel red teaming approach AgentPoison, the first backdoor attack targeting generic and RAG-based LLM agents by poisoning their long-term memory or RAG knowledge base. In particular, we form the trigger generation process as a constrained optimization to optimize backdoor triggers by mapping the triggered instances to a unique embedding space, so as to ensure that whenever a user instruction contains the optimized backdoor trigger, the malicious demonstrations are retrieved from the poisoned memory or knowledge base with high probability. In the meantime, benign instructions without the trigger will still maintain normal performance. Unlike conventional backdoor attacks, AgentPoison requires no additional model training or fine-tuning, and the optimized backdoor trigger exhibits superior transferability, in-context coherence, and stealthiness. Extensive experiments demonstrate AgentPoison's effectiveness in attacking three types of real-world LLM agents: RAG-based autonomous driving agent, knowledge-intensive QA agent, and healthcare EHRAgent. On each agent, AgentPoison achieves an average attack success rate higher than 80% with minimal impact on benign performance (less than 1%) with a poison rate less than 0.1%.
• Abstract（参考訳）: LLMエージェントは、おもに推論、外部の知識とツールの利用、APIの呼び出し、環境と対話するためのアクションの実行における高度な能力のために、様々なアプリケーションで顕著なパフォーマンスを示してきた。 現在のエージェントは、通常、メモリモジュールまたは検索拡張生成(RAG)メカニズムを使用して、過去の知識とインスタンスを知識ベースから同様の埋め込みで検索し、タスクの計画と実行を通知する。 しかし、証明されていない知識基盤への依存は、その安全性と信頼性に重大な懸念を生じさせる。 このような脆弱性を明らかにするために,ジェネリックおよびRAGベースのLSMエージェントを標的とした最初のバックドア攻撃であるエージェントポゾン(AgentPoison)を提案する。 特に, ユーザ命令に最適化されたバックドアトリガが含まれている場合, 有害なデモが有毒なメモリや知識ベースから高い確率で検索されるように, トリガーインスタンスを独自の埋め込みスペースにマッピングすることで, バックドアトリガを最適化するための制約付き最適化としてトリガー生成プロセスを構築した。 その間、トリガーなしの良心的な命令は、通常のパフォーマンスを維持し続ける。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 RAGベースの自律運転エージェント、知識集約型QAエージェント、医療用EHRAgentである。 各エージェントに対して、AgentPoisonは平均攻撃成功率は80%以上で、良性(1%未満)への影響は最小限であり、毒性率は0.1%未満である。

関連論文リスト

• DeCE: Deceptive Cross-Entropy Loss Designed for Defending Backdoor Attacks [26.24490960002264]
  本稿では,コード言語モデルのセキュリティを高めるために,汎用的で効果的な損失関数DeCE(Deceptive Cross-Entropy)を提案する。 さまざまなコード合成データセット,モデル,有毒比による実験は,DeCEの適用性と有効性を示している。
  論文  参考訳（メタデータ） (2024-07-12T03:18:38Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• SEEP: Training Dynamics Grounds Latent Representation Search for Mitigating Backdoor Poisoning Attacks [53.28390057407576]
  現代のNLPモデルは、様々なソースから引き出された公開データセットでしばしば訓練される。 データ中毒攻撃は、攻撃者が設計した方法でモデルの振る舞いを操作できる。 バックドア攻撃に伴うリスクを軽減するために、いくつかの戦略が提案されている。
  論文  参考訳（メタデータ） (2024-05-19T14:50:09Z)
• InjecAgent: Benchmarking Indirect Prompt Injections in Tool-Integrated Large Language Model Agents [3.5248694676821484]
  IPI攻撃に対するツール統合LDMエージェントの脆弱性を評価するためのベンチマークであるInjecAgentを紹介する。 InjecAgentは17の異なるユーザーツールと62の攻撃ツールをカバーする1,054のテストケースで構成されている。 エージェントはIPI攻撃に対して脆弱であり、ReAct-prompted GPT-4は24%の時間攻撃に対して脆弱である。
  論文  参考訳（メタデータ） (2024-03-05T06:21:45Z)
• Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents [47.219047422240145]
  我々は、LSMベースのエージェントに対して、典型的な安全脅威であるバックドアアタックの1つを調査する第一歩を踏み出した。 具体的には、ユーザ入力とモデル出力のみを操作できる従来のLDMに対するバックドア攻撃と比較して、エージェントバックドア攻撃はより多様で隠蔽的な形式を示す。
  論文  参考訳（メタデータ） (2024-02-17T06:48:45Z)
• Evil Geniuses: Delving into the Safety of LLM-based Agents [35.49857256840015]
  大言語モデル(LLM)は、大言語モデル(LLM)で再活性化されている。 本稿では, LLMをベースとしたエージェントの安全性について, エージェント量, 役割定義, 攻撃レベルという3つの観点から検討する。
  論文  参考訳（メタデータ） (2023-11-20T15:50:09Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• Demystifying Poisoning Backdoor Attacks from a Statistical Perspective [35.30533879618651]
  バックドア攻撃は、そのステルス性や潜在的に深刻な影響により、重大なセキュリティリスクを引き起こす。 本稿では,一定のトリガを組み込んだバックドア攻撃の有効性を評価する。 我々の導出した理解は、識別モデルと生成モデルの両方に適用できる。
  論文  参考訳（メタデータ） (2023-10-16T19:35:01Z)
• Backdoor Attacks Against Incremental Learners: An Empirical Evaluation Study [79.33449311057088]
  本稿では,11人の典型的なインクリメンタル学習者の3つの学習シナリオに対する中毒ベースのバックドア攻撃に対する高い脆弱性を実証的に明らかにする。 アクティベーションクラスタリングに基づく防御機構は,潜在的なセキュリティリスクを軽減するためのトリガーパターンの検出に有効であることがわかった。
  論文  参考訳（メタデータ） (2023-05-28T09:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。