論文の概要: Flooding Spread of Manipulated Knowledge in LLM-Based Multi-Agent Communities

• arxiv url: http://arxiv.org/abs/2407.07791v2
• Date: Tue, 23 Jul 2024 01:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 22:04:29.201166
• Title: Flooding Spread of Manipulated Knowledge in LLM-Based Multi-Agent Communities
• Title（参考訳）: LLMに基づくマルチエージェントコミュニティにおける操作知識の洪水拡散
• Authors: Tianjie Ju, Yiting Wang, Xinbei Ma, Pengzhou Cheng, Haodong Zhao, Yulong Wang, Lifeng Liu, Jian Xie, Zhuosheng Zhang, Gongshen Liu,
• Abstract要約: マルチエージェントシステムにおける大規模言語モデル(LLM)のセキュリティへの影響について検討する。 本稿では,説得力注入と操作的知識注入を含む2段階攻撃手法を提案する。 本手法は, LLMをベースとしたエージェントを誘導し, 有害な知識の拡散に有効であることを示す。
• 参考スコア（独自算出の注目度）: 28.244283407749265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid adoption of large language models (LLMs) in multi-agent systems has highlighted their impressive capabilities in various applications, such as collaborative problem-solving and autonomous negotiation. However, the security implications of these LLM-based multi-agent systems have not been thoroughly investigated, particularly concerning the spread of manipulated knowledge. In this paper, we investigate this critical issue by constructing a detailed threat model and a comprehensive simulation environment that mirrors real-world multi-agent deployments in a trusted platform. Subsequently, we propose a novel two-stage attack method involving Persuasiveness Injection and Manipulated Knowledge Injection to systematically explore the potential for manipulated knowledge (i.e., counterfactual and toxic knowledge) spread without explicit prompt manipulation. Our method leverages the inherent vulnerabilities of LLMs in handling world knowledge, which can be exploited by attackers to unconsciously spread fabricated information. Through extensive experiments, we demonstrate that our attack method can successfully induce LLM-based agents to spread both counterfactual and toxic knowledge without degrading their foundational capabilities during agent communication. Furthermore, we show that these manipulations can persist through popular retrieval-augmented generation frameworks, where several benign agents store and retrieve manipulated chat histories for future interactions. This persistence indicates that even after the interaction has ended, the benign agents may continue to be influenced by manipulated knowledge. Our findings reveal significant security risks in LLM-based multi-agent systems, emphasizing the imperative need for robust defenses against manipulated knowledge spread, such as introducing ``guardian'' agents and advanced fact-checking tools.
• Abstract（参考訳）: マルチエージェントシステムにおける大規模言語モデル(LLM)の急速な採用は、協調問題解決や自律交渉など、様々なアプリケーションにおけるその印象的な機能を強調している。 しかし、これらのLLMベースのマルチエージェントシステムのセキュリティへの影響は、特に操作された知識の普及に関して、十分に研究されていない。 本稿では,信頼されたプラットフォームにおける実世界のマルチエージェント展開を反映した,詳細な脅威モデルと包括的なシミュレーション環境を構築することで,この問題を考察する。 そこで本研究では,暗黙的な操作を行うことなく,操作された知識(事実や有害な知識)が拡散する可能性を体系的に探索する,説得力注入と操作的知識注入を含む新たな2段階攻撃手法を提案する。 本手法は,無意識で偽造情報を拡散するために,攻撃者が悪用できる世界知識を扱う上で,LLMの本質的な脆弱性を利用する。 広範囲にわたる実験により, エージェントコミュニケーションにおける基礎的能力の低下を伴わずに, LLMをベースとしたエージェントを誘導し, 有害な知識を拡散させることが実証された。 さらに、これらの操作は、いくつかの良性エージェントが将来的なインタラクションのために操作されたチャット履歴を格納し、検索する一般的な検索拡張生成フレームワークを通じて継続可能であることを示す。 この永続性は、相互作用が終わった後も、良性エージェントは操作された知識の影響を受け続けることを示している。 LLMベースのマルチエージェントシステムにおいて,「ガード」エージェントや高度なファクトチェックツールの導入など,操作された知識の拡散に対する堅牢な防御の必要性を強調し,セキュリティ上の重大なリスクを明らかにした。

関連論文リスト

• Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
  この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。 LLMをベースとしたエージェントの6つの重要な特徴を概説する。 4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
  論文  参考訳（メタデータ） (2024-11-14T15:40:04Z)
• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems [6.480532634073257]
  本稿では、相互接続されたエージェント間で、悪意のある自己複製を促す新しい攻撃であるPrompt infectionを紹介する。 この攻撃は、データ盗難、詐欺、誤報、システム全体の破壊など、深刻な脅威を引き起こす。 そこで本研究では,既存の安全対策と組み合わせることで感染拡大を著しく軽減する防衛機構であるLSM Taggingを提案する。
  論文  参考訳（メタデータ） (2024-10-09T11:01:29Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Breaking Agents: Compromising Autonomous LLM Agents Through Malfunction Amplification [35.16099878559559]
  大規模言語モデル(LLM)は大きな発展を遂げ、現実世界のアプリケーションにデプロイされている。 エージェントが繰り返しまたは無関係なアクションを実行することを誤解させることで誤動作を引き起こす新しいタイプの攻撃を導入する。 実験の結果、これらの攻撃は複数のシナリオで80%以上の障害率を誘導できることがわかった。
  論文  参考訳（メタデータ） (2024-07-30T14:35:31Z)
• Can LLMs be Fooled? Investigating Vulnerabilities in LLMs [4.927763944523323]
  LLM(Large Language Models)の出現は、自然言語処理(NLP)内の様々な領域で大きな人気を集め、膨大なパワーを誇っている。 本稿では,各脆弱性部の知見を合成し,新たな研究・開発の方向性を提案する。 現在の脆弱性の焦点を理解することで、将来のリスクを予測し軽減できます。
  論文  参考訳（メタデータ） (2024-07-30T04:08:00Z)
• KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents [54.09074527006576]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて大きな可能性を証明していますが、より高度な課題に取り組むには不十分です。 この不適切さは、主に言語エージェントのアクション知識が組み込まれていないことに起因する。 我々は、明示的な行動知識を取り入れることで、LLMの計画能力を高めるために設計された新しいアプローチであるKnowAgentを紹介する。
  論文  参考訳（メタデータ） (2024-03-05T16:39:12Z)
• The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
  MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。 本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-02-20T23:08:21Z)
• Exploring the Adversarial Capabilities of Large Language Models [25.7847594292453]
  大きな言語モデル(LLM)は、良心的なサンプルから敵の例を作れば、既存の安全なレールを騙すことができる。 我々の実験は、ヘイトスピーチ検出に焦点をあて、LLMが敵の摂動を見つけることに成功し、ヘイトスピーチ検出システムを効果的に損なうことを示した。
  論文  参考訳（メタデータ） (2024-02-14T12:28:38Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。