論文の概要: Kaleidoscopic Teaming in Multi Agent Simulations

• arxiv url: http://arxiv.org/abs/2506.17514v1
• Date: Fri, 20 Jun 2025 23:37:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.455744
• Title: Kaleidoscopic Teaming in Multi Agent Simulations
• Title（参考訳）: マルチエージェントシミュレーションにおけるカレイドスコピックチーム
• Authors: Ninareh Mehrabi, Tharindu Kumarage, Kai-Wei Chang, Aram Galstyan, Rahul Gupta,
• Abstract要約: 我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。 我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。 エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
• 参考スコア（独自算出の注目度）: 75.47388708240042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Warning: This paper contains content that may be inappropriate or offensive. AI agents have gained significant recent attention due to their autonomous tool usage capabilities and their integration in various real-world applications. This autonomy poses novel challenges for the safety of such systems, both in single- and multi-agent scenarios. We argue that existing red teaming or safety evaluation frameworks fall short in evaluating safety risks in complex behaviors, thought processes and actions taken by agents. Moreover, they fail to consider risks in multi-agent setups where various vulnerabilities can be exposed when agents engage in complex behaviors and interactions with each other. To address this shortcoming, we introduce the term kaleidoscopic teaming which seeks to capture complex and wide range of vulnerabilities that can happen in agents both in single-agent and multi-agent scenarios. We also present a new kaleidoscopic teaming framework that generates a diverse array of scenarios modeling real-world human societies. Our framework evaluates safety of agents in both single-agent and multi-agent setups. In single-agent setup, an agent is given a scenario that it needs to complete using the tools it has access to. In multi-agent setup, multiple agents either compete against or cooperate together to complete a task in the scenario through which we capture existing safety vulnerabilities in agents. We introduce new in-context optimization techniques that can be used in our kaleidoscopic teaming framework to generate better scenarios for safety analysis. Lastly, we present appropriate metrics that can be used along with our framework to measure safety of agents. Utilizing our kaleidoscopic teaming framework, we identify vulnerabilities in various models with respect to their safety in agentic use-cases.
• Abstract（参考訳）: 警告: 本論文は不適切または不快な内容を含む。 AIエージェントは、自律的なツール使用機能と、さまざまな現実世界アプリケーションへの統合によって、近年大きな注目を集めている。 この自律性は、シングルエージェントとマルチエージェントの両方のシナリオにおいて、そのようなシステムの安全性に新たな課題をもたらす。 我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。 さらに、エージェントが複雑な振る舞いや相互に作用する場合に、さまざまな脆弱性が暴露されるようなマルチエージェントのセットアップでは、リスクを考慮できない。 この欠点に対処するために、単一エージェントとマルチエージェントのシナリオの両方でエージェントで起こりうる、複雑で幅広い脆弱性を捕捉しようとする、カレイドスコピックチームという用語を紹介します。 また、現実世界の人間社会をモデル化する多様なシナリオを生成する新しいカレイドスコープ・チームリング・フレームワークを提案する。 本フレームワークは,エージェントの安全性をシングルエージェントとマルチエージェントの両方で評価する。 シングルエージェント設定では、エージェントがアクセスするツールを使用して完了する必要があるシナリオが与えられる。 マルチエージェント設定では、複数のエージェントが競合するか協力して、エージェントの既存の安全脆弱性をキャプチャするシナリオでタスクを完了します。 我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。 最後に、エージェントの安全性を測定するためのフレームワークと共に使用できる適切なメトリクスを示す。 カレイドスコープのチームリングフレームワークを利用することで、エージェントユースケースにおける安全性に関して、さまざまなモデルの脆弱性を特定します。

関連論文リスト

• Seven Security Challenges That Must be Solved in Cross-domain Multi-agent LLM Systems [16.838103835766066]
  大規模言語モデル(LLM)は、組織の境界を越えて協調する自律エージェントへと急速に進化している。 本稿では、クロスドメインマルチエージェントLLMシステムのセキュリティアジェンダをマッピングする。
  論文  参考訳（メタデータ） (2025-05-28T18:19:03Z)
• Multi-Agent Security Tax: Trading Off Security and Collaboration Capabilities in Multi-Agent Systems [1.2564343689544843]
  我々は、セキュリティリスクとトレードオフを研究するために、共有目的に基づいて協力するAIエージェントのシミュレーションを開発する。 我々は、悪意のある指示の多重ホップ拡散という、感染した悪意のあるプロンプトを観察する。 この結果から,マルチエージェントシステムにおけるセキュリティと協調効率のトレードオフの可能性が示唆された。
  論文  参考訳（メタデータ） (2025-02-26T14:00:35Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors [93.38830440346783]
  本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。 実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。 これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
  論文  参考訳（メタデータ） (2023-08-21T16:47:11Z)
• Learning Safe Multi-Agent Control with Decentralized Neural Barrier Certificates [19.261536710315028]
  エージェントが静的な障害物や衝突に対する衝突を避けて目標を達成すべきマルチエージェント安全制御問題について検討する。 私達の中心の考えは安全証明書として制御障壁機能を学ぶことと複数のエージェント制御方針を共同で学ぶことです。 本稿では,特定の関数クラスに対して一般化を保証し,分散的に実装可能な新しい共同学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-14T03:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。