論文の概要: G-Safeguard: A Topology-Guided Security Lens and Treatment on LLM-based Multi-agent Systems

• arxiv url: http://arxiv.org/abs/2502.11127v1
• Date: Sun, 16 Feb 2025 13:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:44.869025
• Title: G-Safeguard: A Topology-Guided Security Lens and Treatment on LLM-based Multi-agent Systems
• Title（参考訳）: G-Safeguard: LLMベースのマルチエージェントシステムにおけるトポロジーガイド型セキュリティレンズと治療
• Authors: Shilong Wang, Guibin Zhang, Miao Yu, Guancheng Wan, Fanci Meng, Chongye Guo, Kun Wang, Yang Wang,
• Abstract要約: 大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)は,様々な複雑なタスクにおいて顕著な機能を示した。 これらのシステムがますます重要なアプリケーションに統合されるにつれて、敵の攻撃、誤情報伝播、意図しない行動に対する脆弱性が懸念されている。 我々は、トポロジー誘導型セキュリティレンズであるG-Safeguardを導入し、ロバストMASに対する治療を行った。
• 参考スコア（独自算出の注目度）: 10.450573905691677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM)-based Multi-agent Systems (MAS) have demonstrated remarkable capabilities in various complex tasks, ranging from collaborative problem-solving to autonomous decision-making. However, as these systems become increasingly integrated into critical applications, their vulnerability to adversarial attacks, misinformation propagation, and unintended behaviors have raised significant concerns. To address this challenge, we introduce G-Safeguard, a topology-guided security lens and treatment for robust LLM-MAS, which leverages graph neural networks to detect anomalies on the multi-agent utterance graph and employ topological intervention for attack remediation. Extensive experiments demonstrate that G-Safeguard: (I) exhibits significant effectiveness under various attack strategies, recovering over 40% of the performance for prompt injection; (II) is highly adaptable to diverse LLM backbones and large-scale MAS; (III) can seamlessly combine with mainstream MAS with security guarantees. The code is available at https://github.com/wslong20/G-safeguard.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)は、協調的な問題解決から自律的な意思決定に至るまで、様々な複雑なタスクにおいて顕著な能力を示している。 しかし、これらのシステムがますます重要なアプリケーションに統合されるにつれて、敵攻撃や誤情報伝播、意図しない行動に対する脆弱性が懸念されている。 この課題に対処するために、G-Safeguardというトポロジ誘導型セキュリティレンズを導入し、グラフニューラルネットワークを利用してマルチエージェント発話グラフ上の異常を検出し、トポロジ的介入を用いて攻撃修復を行う。 G-Safeguard: (I) 様々な攻撃戦略の下で大きな効果を示し、即発注射のパフォーマンスの40%以上を回復し、 (II) 多様なLDMバックボーンと大規模MASに高い適応性を持ち、 (III) 主要なMASとセキュリティ保証をシームレスに組み合わせることができる。 コードはhttps://github.com/wslong20/G-safeguardで公開されている。

関連論文リスト

• Exposing the Ghost in the Transformer: Abnormal Detection for Large Language Models via Hidden State Forensics [5.384257830522198]
  重要なアプリケーションにおける大規模言語モデル(LLM)は、重大な信頼性とセキュリティリスクを導入している。 これらの脆弱性は悪意あるアクターによって武器化され、不正アクセス、広範囲にわたる誤報、システムの完全性を侵害した。 本研究では,LLMの異常な挙動を隠蔽法で検出する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T05:58:14Z)
• Why Do Multi-Agent LLM Systems Fail? [91.39266556855513]
  MAST(Multi-Agent System Failure taxonomy, MAST)は,MASの故障を理解するために考案された分類法である。 我々は、200以上のタスクにまたがる7つの人気のあるMASフレームワークを分析し、6つの専門家のアノテータを含む。 14のユニークな障害モードを特定し、(i)仕様問題、(ii)エージェント間ミスアライメント、(iii)タスク検証の3つに分類した。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• Poisoned-MRAG: Knowledge Poisoning Attacks to Multimodal Retrieval Augmented Generation [71.32665836294103]
  マルチモーダル検索強化世代(RAG)は視覚言語モデル(VLM)の視覚的推論能力を向上させる 本研究では,マルチモーダルRAGシステムに対する最初の知識中毒攻撃であるtextitPoisoned-MRAGを紹介する。
  論文  参考訳（メタデータ） (2025-03-08T15:46:38Z)
• MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks [109.53357276796655]
  Retrieval Augmented Generation (RAG) を備えたマルチモーダル大言語モデル(MLLM) RAGはクエリ関連外部知識の応答を基盤としてMLLMを強化する。 この依存は、知識中毒攻撃(英語版)という、危険だが未発見の安全リスクを生じさせる。 本稿では,2つの攻撃戦略を持つ新しい知識中毒攻撃フレームワークMM-PoisonRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:23:59Z)
• Survey on AI-Generated Media Detection: From Non-MLLM to MLLM [51.91311158085973]
  AI生成メディアを検出する方法は急速に進化してきた。 MLLMに基づく汎用検出器は、信頼性検証、説明可能性、ローカライゼーション機能を統合する。 倫理的・セキュリティ的な配慮が、重要な世界的な懸念として浮上している。
  論文  参考訳（メタデータ） (2025-02-07T12:18:20Z)
• Position: Towards a Responsible LLM-empowered Multi-Agent Systems [22.905804138387854]
  Agent AIとLarge Language Model-powered Multi-Agent Systems (LLM-MAS)の台頭は、責任と信頼性のあるシステム操作の必要性を浮き彫りにした。 LLMエージェントは固有の予測不能を示し、出力の不確実性は複雑になり、システムの安定性を脅かす。 これらのリスクに対処するためには、アクティブな動的モデレーションを備えた人間中心の設計アプローチが不可欠である。
  論文  参考訳（メタデータ） (2025-02-03T16:04:30Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• LLMScan: Causal Scan for LLM Misbehavior Detection [6.001414661477911]
  大規模言語モデル(LLM)は、非現実的でバイアスがあり、有害な応答を生成する。 この研究は、因果解析に基づく革新的なモニタリング技術であるLLMScanを導入している。
  論文  参考訳（メタデータ） (2024-10-22T02:27:57Z)
• SoK: Prompt Hacking of Large Language Models [5.056128048855064]
  大規模言語モデル(LLM)ベースのアプリケーションの安全性と堅牢性は、人工知能において重要な課題である。 私たちは、ジェイルブレイク、リーク、インジェクションという3つの異なるタイプのプロンプトハッキングについて、包括的で体系的な概要を提供しています。 LLM応答を5つの異なるクラスに分類する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T01:30:41Z)
• Adversarial Attacks on Large Language Models in Medicine [34.17895005922139]
  医療アプリケーションへの大型言語モデルの統合により、医療診断、治療勧告、患者医療の進歩が期待できる。 LLMの敵対的攻撃に対する感受性は重大な脅威となり、繊細な医学的文脈で有害な結果をもたらす可能性がある。 本研究では,3つの医療課題における2種類の敵攻撃に対するLDMの脆弱性について検討した。
  論文  参考訳（メタデータ） (2024-06-18T04:24:30Z)
• Generative AI for Secure Physical Layer Communications: A Survey [80.0638227807621]
  Generative Artificial Intelligence(GAI)は、AIイノベーションの最前線に立ち、多様なコンテンツを生成するための急速な進歩と非並行的な能力を示す。 本稿では,通信ネットワークの物理層におけるセキュリティ向上におけるGAIの様々な応用について,広範な調査を行う。 私たちは、物理的レイヤセキュリティの課題に対処する上で、GAIの役割を掘り下げ、通信の機密性、認証、可用性、レジリエンス、整合性に重点を置いています。
  論文  参考訳（メタデータ） (2024-02-21T06:22:41Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。