論文の概要: Risk Analysis Techniques for Governed LLM-based Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2508.05687v1
- Date: Wed, 06 Aug 2025 06:06:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 20:39:05.928664
- Title: Risk Analysis Techniques for Governed LLM-based Multi-Agent Systems
- Title（参考訳）: LLMを用いたマルチエージェントシステムのリスク解析手法
- Authors: Alistair Reid, Simon O'Callaghan, Liam Carroll, Tiberio Caetano,
- Abstract要約: 本稿では,マルチエージェントAIシステムにおけるリスク識別と分析の初期段階について述べる。
信頼性障害のカスケード,エージェント間コミュニケーション障害,モノカルチャー崩壊,適合性バイアス,心の欠陥理論,混合モチベーションダイナミクスの6つの重要な障害モードについて検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Organisations are starting to adopt LLM-based AI agents, with their deployments naturally evolving from single agents towards interconnected, multi-agent networks. Yet a collection of safe agents does not guarantee a safe collection of agents, as interactions between agents over time create emergent behaviours and induce novel failure modes. This means multi-agent systems require a fundamentally different risk analysis approach than that used for a single agent. This report addresses the early stages of risk identification and analysis for multi-agent AI systems operating within governed environments where organisations control their agent configurations and deployment. In this setting, we examine six critical failure modes: cascading reliability failures, inter-agent communication failures, monoculture collapse, conformity bias, deficient theory of mind, and mixed motive dynamics. For each, we provide a toolkit for practitioners to extend or integrate into their existing frameworks to assess these failure modes within their organisational contexts. Given fundamental limitations in current LLM behavioural understanding, our approach centres on analysis validity, and advocates for progressively increasing validity through staged testing across stages of abstraction and deployment that gradually increases exposure to potential negative impacts, while collecting convergent evidence through simulation, observational analysis, benchmarking, and red teaming. This methodology establishes the groundwork for robust organisational risk management as these LLM-based multi-agent systems are deployed and operated.
- Abstract（参考訳）: 組織はLLMベースのAIエージェントを採用し始めており、そのデプロイメントは単一のエージェントから相互接続されたマルチエージェントネットワークへと自然に進化している。
しかし、安全なエージェントのコレクションは、エージェント間の相互作用が創発的な振る舞いを生み出し、新しい障害モードを引き起こすため、エージェントの安全なコレクションを保証しません。
これは、マルチエージェントシステムは単一のエージェントで使用されるものと根本的に異なるリスク分析アプローチを必要とすることを意味する。
本報告では,組織がエージェントの構成と展開を管理する管理環境内で動作しているマルチエージェントAIシステムのリスク識別と分析の初期段階について述べる。
本稿では, 信頼性障害のカスケード, エージェント間通信障害, モノカルチャー崩壊, 適合性バイアス, 心の理論の欠如, 混合モチベーションダイナミクスの6つの重要な障害モードについて検討する。
それぞれについて、実践者が既存のフレームワークを拡張したり、統合したりするためのツールキットを提供して、これらの障害モードを組織的なコンテキスト内で評価します。
現在のLCMの行動理解の基本的な限界を考慮し、分析の妥当性を重視し、シミュレーション、観察分析、ベンチマーク、レッドチームによる収束証拠を収集しながら、潜在的なネガティブな影響への露出を徐々に増大させる抽象化と展開の段階にわたる段階的なテストを通じて、段階的に妥当性を高めることを提唱する。
この方法論は、LSMベースのマルチエージェントシステムがデプロイされ、運用されるため、堅牢な組織リスク管理の基盤を確立する。
関連論文リスト
- SafeMobile: Chain-level Jailbreak Detection and Automated Evaluation for Multimodal Mobile Agents [58.21223208538351]
本研究は,モバイルマルチモーダルエージェントを取り巻くセキュリティ問題について考察する。
行動シーケンス情報を組み込んだリスク識別機構の構築を試みる。
また、大規模言語モデルに基づく自動アセスメントスキームも設計している。
論文 参考訳（メタデータ） (2025-07-01T15:10:00Z) - Kaleidoscopic Teaming in Multi Agent Simulations [75.47388708240042]
我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。
我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。
エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
論文 参考訳（メタデータ） (2025-06-20T23:37:17Z) - TRiSM for Agentic AI: A Review of Trust, Risk, and Security Management in LLM-based Agentic Multi-Agent Systems [2.462408812529728]
本総説では, LLMに基づくエージェントマルチエージェントシステム (AMAS) の文脈における, textbfTrust, Risk, and Security Management (TRiSM) の構造解析について述べる。
まず、エージェントAIの概念的基礎を調べ、従来のAIエージェントとアーキテクチャ的区別を強調します。
次に、説明可能性、モデルOps、セキュリティ、プライバシ、ガバナンスの4つの主要な柱を中心に構成された、エージェントAIのためのAI TRiSMフレームワークを適応して拡張します。
論文 参考訳（メタデータ） (2025-06-04T16:26:11Z) - Assessing Collective Reasoning in Multi-Agent LLMs via Hidden Profile Tasks [5.120446836495469]
我々は,マルチエージェントLLMシステムのための診断テストベッドとして,社会心理学からの隠れプロファイルパラダイムを紹介した。
エージェント間で重要な情報を非対称に分配することにより、エージェント間ダイナミクスが集団的推論をどのように支援するか、あるいは妨げるかを明らかにする。
協調エージェントは集団的設定において過度に協調する傾向にあるが,矛盾が集団収束を損なうことが示唆された。
論文 参考訳（メタデータ） (2025-05-15T19:22:54Z) - Multi-Agent Risks from Advanced AI [90.74347101431474]
先進的なAIのマルチエージェントシステムは、新規で未発見のリスクを生じさせる。
エージェントのインセンティブに基づく3つの重要な障害モードと7つの重要なリスク要因を同定する。
各リスクのいくつかの重要な事例と、それらを緩和するための有望な方向性を強調します。
論文 参考訳（メタデータ） (2025-02-19T23:03:21Z) - Navigating the Risks: A Survey of Security, Privacy, and Ethics Threats in LLM-Based Agents [67.07177243654485]
この調査は、大規模言語モデルに基づくエージェントが直面するさまざまな脅威を収集、分析する。
LLMをベースとしたエージェントの6つの重要な特徴を概説する。
4つの代表エージェントをケーススタディとして選択し,実践的に直面する可能性のあるリスクを分析した。
論文 参考訳（メタデータ） (2024-11-14T15:40:04Z) - From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。
エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文 参考訳（メタデータ） (2024-11-06T10:35:11Z) - Enhancing Heterogeneous Multi-Agent Cooperation in Decentralized MARL via GNN-driven Intrinsic Rewards [1.179778723980276]
MARL(Multi-agent Reinforcement Learning)は、シーケンシャルな意思決定と制御タスクの鍵となるフレームワークである。
これらのシステムを現実のシナリオに展開するには、分散トレーニング、多様なエージェントセット、そして頻繁な環境報酬信号から学ぶ必要がある。
我々は,新しいグラフニューラルネットワーク(GNN)に基づく本質的なモチベーションを利用して,異種エージェントポリシーの学習を容易にするCoHetアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-12T21:38:40Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。
これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
論文 参考訳（メタデータ） (2024-01-24T01:51:00Z) - Relative Distributed Formation and Obstacle Avoidance with Multi-agent
Reinforcement Learning [20.401609420707867]
マルチエージェント強化学習(MARL)に基づく分散生成・障害物回避手法を提案する。
提案手法は, 障害物回避における生成誤差, 生成収束率, オンパー成功率に関して, ベースラインと比較して高い性能を実現する。
論文 参考訳（メタデータ） (2021-11-14T13:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。