論文の概要: G-Safeguard: A Topology-Guided Security Lens and Treatment on LLM-based Multi-agent Systems

• arxiv url: http://arxiv.org/abs/2502.11127v1
• Date: Sun, 16 Feb 2025 13:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:12:07.228351
• Title: G-Safeguard: A Topology-Guided Security Lens and Treatment on LLM-based Multi-agent Systems
• Title（参考訳）: G-Safeguard: LLMベースのマルチエージェントシステムにおけるトポロジーガイド型セキュリティレンズと治療
• Authors: Shilong Wang, Guibin Zhang, Miao Yu, Guancheng Wan, Fanci Meng, Chongye Guo, Kun Wang, Yang Wang,
• Abstract要約: 大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)は,様々な複雑なタスクにおいて顕著な機能を示した。 これらのシステムがますます重要なアプリケーションに統合されるにつれて、敵の攻撃、誤情報伝播、意図しない行動に対する脆弱性が懸念されている。 我々は、トポロジー誘導型セキュリティレンズであるG-Safeguardを導入し、ロバストMASに対する治療を行った。
• 参考スコア（独自算出の注目度）: 10.450573905691677
• License:
• Abstract: Large Language Model (LLM)-based Multi-agent Systems (MAS) have demonstrated remarkable capabilities in various complex tasks, ranging from collaborative problem-solving to autonomous decision-making. However, as these systems become increasingly integrated into critical applications, their vulnerability to adversarial attacks, misinformation propagation, and unintended behaviors have raised significant concerns. To address this challenge, we introduce G-Safeguard, a topology-guided security lens and treatment for robust LLM-MAS, which leverages graph neural networks to detect anomalies on the multi-agent utterance graph and employ topological intervention for attack remediation. Extensive experiments demonstrate that G-Safeguard: (I) exhibits significant effectiveness under various attack strategies, recovering over 40% of the performance for prompt injection; (II) is highly adaptable to diverse LLM backbones and large-scale MAS; (III) can seamlessly combine with mainstream MAS with security guarantees. The code is available at https://github.com/wslong20/G-safeguard.
• Abstract（参考訳）: 大規模言語モデル(LLM)に基づくマルチエージェントシステム(MAS)は、協調的な問題解決から自律的な意思決定に至るまで、様々な複雑なタスクにおいて顕著な能力を示している。 しかし、これらのシステムがますます重要なアプリケーションに統合されるにつれて、敵攻撃や誤情報伝播、意図しない行動に対する脆弱性が懸念されている。 この課題に対処するために、G-Safeguardというトポロジ誘導型セキュリティレンズを導入し、グラフニューラルネットワークを利用してマルチエージェント発話グラフ上の異常を検出し、トポロジ的介入を用いて攻撃修復を行う。 G-Safeguard: (I) 様々な攻撃戦略の下で大きな効果を示し、即発注射のパフォーマンスの40%以上を回復し、 (II) 多様なLDMバックボーンと大規模MASに高い適応性を持ち、 (III) 主要なMASとセキュリティ保証をシームレスに組み合わせることができる。 コードはhttps://github.com/wslong20/G-safeguardで公開されている。

関連論文リスト

• Survey on AI-Generated Media Detection: From Non-MLLM to MLLM [51.91311158085973]
  AI生成メディアを検出する方法は急速に進化してきた。 MLLMに基づく汎用検出器は、信頼性検証、説明可能性、ローカライゼーション機能を統合する。 倫理的・セキュリティ的な配慮が、重要な世界的な懸念として浮上している。
  論文  参考訳（メタデータ） (2025-02-07T12:18:20Z)
• Position: Towards a Responsible LLM-empowered Multi-Agent Systems [22.905804138387854]
  Agent AIとLarge Language Model-powered Multi-Agent Systems (LLM-MAS)の台頭は、責任と信頼性のあるシステム操作の必要性を浮き彫りにした。 LLMエージェントは固有の予測不能を示し、出力の不確実性は複雑になり、システムの安定性を脅かす。 これらのリスクに対処するためには、アクティブな動的モデレーションを備えた人間中心の設計アプローチが不可欠である。
  論文  参考訳（メタデータ） (2025-02-03T16:04:30Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• LLMScan: Causal Scan for LLM Misbehavior Detection [6.001414661477911]
  大規模言語モデル(LLM)は、非現実的でバイアスがあり、有害な応答を生成する。 この研究は、因果解析に基づく革新的なモニタリング技術であるLLMScanを導入している。
  論文  参考訳（メタデータ） (2024-10-22T02:27:57Z)
• SoK: Prompt Hacking of Large Language Models [5.056128048855064]
  大規模言語モデル(LLM)ベースのアプリケーションの安全性と堅牢性は、人工知能において重要な課題である。 私たちは、ジェイルブレイク、リーク、インジェクションという3つの異なるタイプのプロンプトハッキングについて、包括的で体系的な概要を提供しています。 LLM応答を5つの異なるクラスに分類する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-16T01:30:41Z)
• Adversarial Attacks on Large Language Models in Medicine [34.17895005922139]
  医療アプリケーションへの大型言語モデルの統合により、医療診断、治療勧告、患者医療の進歩が期待できる。 LLMの敵対的攻撃に対する感受性は重大な脅威となり、繊細な医学的文脈で有害な結果をもたらす可能性がある。 本研究では,3つの医療課題における2種類の敵攻撃に対するLDMの脆弱性について検討した。
  論文  参考訳（メタデータ） (2024-06-18T04:24:30Z)
• Multi-granular Adversarial Attacks against Black-box Neural Ranking Models [111.58315434849047]
  多粒性摂動を取り入れた高品質な逆数例を作成する。 我々は,多粒体攻撃を逐次的意思決定プロセスに変換する。 本手法は,攻撃の有効性と非受容性の両方において,一般的なベースラインを超えている。
  論文  参考訳（メタデータ） (2024-04-02T02:08:29Z)
• Generative AI for Secure Physical Layer Communications: A Survey [80.0638227807621]
  Generative Artificial Intelligence(GAI)は、AIイノベーションの最前線に立ち、多様なコンテンツを生成するための急速な進歩と非並行的な能力を示す。 本稿では,通信ネットワークの物理層におけるセキュリティ向上におけるGAIの様々な応用について,広範な調査を行う。 私たちは、物理的レイヤセキュリティの課題に対処する上で、GAIの役割を掘り下げ、通信の機密性、認証、可用性、レジリエンス、整合性に重点を置いています。
  論文  参考訳（メタデータ） (2024-02-21T06:22:41Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• When Machine Learning Meets Spectrum Sharing Security: Methodologies and Challenges [19.313414666640078]
  インターネット接続システムの指数関数的成長は、スペクトル不足問題など、多くの問題を引き起こしている。 複雑でダイナミックなスペクトル共有(SS)システムは、潜在的なセキュリティとプライバシの問題に晒される可能性がある。 これらの問題に対処するために機械学習(ML)ベースの手法が頻繁に提案されている。
  論文  参考訳（メタデータ） (2022-01-12T20:04:28Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。