論文の概要: On the Resilience of Multi-Agent Systems with Malicious Agents

• arxiv url: http://arxiv.org/abs/2408.00989v1
• Date: Fri, 2 Aug 2024 03:25:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 14:36:49.814625
• Title: On the Resilience of Multi-Agent Systems with Malicious Agents
• Title（参考訳）: 有害剤を用いたマルチエージェントシステムのレジリエンスについて
• Authors: Jen-tse Huang, Jiaxu Zhou, Tailin Jin, Xuhui Zhou, Zixi Chen, Wenxuan Wang, Youliang Yuan, Maarten Sap, Michael R. Lyu,
• Abstract要約: 我々は、コード生成、数学問題、翻訳、テキスト評価という、4つの下流マルチエージェントシステムタスクの実験を行う。 その結果、「階層的」なマルチエージェント構造は、最低性能が23.6%の優れたレジリエンスを示すことが示唆された。 本稿では,各エージェントが他のエージェントの出力に挑戦するメッセージやメカニズムをレビューし,修正するための追加エージェントを導入することによって,システムレジリエンスを高めることによるマルチエージェントシステムのレジリエンス向上の可能性を実証する。
• 参考スコア（独自算出の注目度）: 58.79302663733702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent systems, powered by large language models, have shown great abilities across various tasks due to the collaboration of expert agents, each focusing on a specific domain. However, when agents are deployed separately, there is a risk that malicious users may introduce malicious agents who generate incorrect or irrelevant results that are too stealthy to be identified by other non-specialized agents. Therefore, this paper investigates two essential questions: (1) What is the resilience of various multi-agent system structures (e.g., A$\rightarrow$B$\rightarrow$C, A$\leftrightarrow$B$\leftrightarrow$C) under malicious agents, on different downstream tasks? (2) How can we increase system resilience to defend against malicious agents? To simulate malicious agents, we devise two methods, AutoTransform and AutoInject, to transform any agent into a malicious one while preserving its functional integrity. We run comprehensive experiments on four downstream multi-agent systems tasks, namely code generation, math problems, translation, and text evaluation. Results suggest that the "hierarchical" multi-agent structure, i.e., A$\rightarrow$(B$\leftrightarrow$C), exhibits superior resilience with the lowest performance drop of $23.6\%$, compared to $46.4\%$ and $49.8\%$ of other two structures. Additionally, we show the promise of improving multi-agent system resilience by demonstrating that two defense methods, introducing an additional agent to review and correct messages or mechanisms for each agent to challenge others' outputs, can enhance system resilience. Our code and data are available at https://github.com/CUHK-ARISE/MAS-Resilience.
• Abstract（参考訳）: 大規模言語モデルを用いたマルチエージェントシステムは、専門家エージェントの協調によって様々なタスクにまたがる優れた能力を示し、それぞれが特定のドメインに焦点を当てている。 しかし、エージェントを別々に配置する場合、悪意のあるユーザーが不正または無関係な結果をもたらす悪意のあるエージェントを導入するリスクがある。 そこで本研究では,(1) 様々なマルチエージェントシステムのレジリエンス(例えば, A$\rightarrow$B$\rightarrow$C, A$\leftrightarrow$B$\leftrightarrow$C)が,悪質なエージェントの下で,異なる下流タスクに対してどのようなレジリエンスを持つかを検討する。 (2)悪意のあるエージェントに対して、システムレジリエンスを高めるにはどうすればいいのか? 悪意のあるエージェントをシミュレートするために、AutoTransformとAutoInjectという2つのメソッドを考案しました。 我々は、コード生成、数学問題、翻訳、テキスト評価という、4つの下流マルチエージェントシステムタスクに関する総合的な実験を行う。 その結果、A$\rightarrow$(B$\leftrightarrow$C)という階層的なマルチエージェント構造は、他の2つの構造のうち、46.4\%と49.8\%よりも、最低性能が23.6\%$の優れたレジリエンスを示すことが示唆された。 さらに,各エージェントが他のエージェントの出力に挑戦するメッセージやメカニズムをレビューし,修正するための追加エージェントを導入することによって,システムレジリエンスを向上できることを示すことにより,マルチエージェントシステムレジリエンスの向上が期待できることを示す。 私たちのコードとデータはhttps://github.com/CUHK-ARISE/MAS-Resilience.comで公開されています。

関連論文リスト

• Multi-Agent Stochastic Bandits Robust to Adversarial Corruptions [6.234292942334148]
  敵の汚職に頑健なマルチエージェント協調学習アルゴリズムを提案する。 副産物として,本アルゴリズムは,単一エージェントと同種マルチエージェントの両方のシナリオに還元した場合の,最先端の後悔境界も改善する。
  論文  参考訳（メタデータ） (2024-11-12T20:20:26Z)
• Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks [39.084974125007165]
  本稿では,複雑なタスクを解くための高性能なオープンソースエージェントシステムMagentic-Oneを紹介する。 Magentic-Oneでは、リードエージェントであるOrchestratorが進捗を追跡し、エラーからリカバリするための再計画を行うマルチエージェントアーキテクチャを使用している。 Magentic-Oneは3つの多様かつ挑戦的なエージェントベンチマークにおいて、最先端技術に対して統計的に競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2024-11-07T06:36:19Z)
• A Troublemaker with Contagious Jailbreak Makes Chaos in Honest Towns [19.015202590038996]
  エージェントの重要なコンポーネントはメモリであり、重要な情報を格納するが、ジェイルブレイク攻撃の影響を受けやすい。 既存の研究は主に単一エージェント攻撃と共有メモリ攻撃に焦点を当てている。 本稿では,大規模なマルチエージェント・マルチトポロジーテキストによる攻撃評価フレームワークであるTMCHTタスクを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:21:24Z)
• Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
  本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。 これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。 55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
  論文  参考訳（メタデータ） (2024-10-14T17:57:02Z)
• AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
  大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。 我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。 我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-06T15:15:41Z)
• A Unified Debugging Approach via LLM-Based Multi-Agent Synergy [39.11825182386288]
  FixAgentはマルチエージェントのシナジーによる統合デバッグのためのエンドツーエンドフレームワークである。 1.25$times$ 2.56$times$レポレベルのベンチマークであるDefects4Jのバグを修正した。
  論文  参考訳（メタデータ） (2024-04-26T04:55:35Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  拡散モデル(DM)は、最近オフライン強化学習を含む様々なシナリオで大きな成功を収めた。 この問題に対処する新しい生成型マルチエージェント学習フレームワークであるMADiffを提案する。 本実験は,マルチエージェント学習タスクにおけるベースラインアルゴリズムと比較して,MADiffの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in Multi-Agent Simulations [110.72725220033983]
  Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。 ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。 特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
  論文  参考訳（メタデータ） (2021-06-10T04:32:20Z)
• Regret Bounds for Decentralized Learning in Cooperative Multi-Agent Dynamical Systems [3.9599054392856488]
  マルチエージェント強化学習(MARL)における二次解析の課題 補助単エージェントLQ問題の構成に基づくMARLアルゴリズムを提案する。 我々のアルゴリズムは $tildeO(sqrtT)$ regret bound を提供する。
  論文  参考訳（メタデータ） (2020-01-27T23:37:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。