論文の概要: Enforcement Agents: Enhancing Accountability and Resilience in Multi-Agent AI Frameworks
- arxiv url: http://arxiv.org/abs/2504.04070v1
- Date: Sat, 05 Apr 2025 06:07:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 14:10:09.304286
- Title: Enforcement Agents: Enhancing Accountability and Resilience in Multi-Agent AI Frameworks
- Title(参考訳): Enforcement Agents: マルチエージェントAIフレームワークにおけるアカウンタビリティとレジリエンスの強化
- Authors: Sagar Tamang, Dibya Jyoti Bora,
- Abstract要約: Enforcement Agent Frameworkは、専用の監視エージェントを環境に埋め込んで、他の人を監視し、誤った振る舞いを検出し、リアルタイムの修正を通じて介入する。
このフレームワークをカスタムドローンシミュレーションで実装し,0,1,2EA構成を用いて90エピソードにわたって評価する。
その結果、EAを追加することでシステムの安全性が大幅に向上し、成功率は、EAなしで0.0%から7.4%に上昇し、1つのEAで26.7%、2つのEAでは26.7%となった。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: As autonomous agents become more powerful and widely used, it is becoming increasingly important to ensure they behave safely and stay aligned with system goals, especially in multi-agent settings. Current systems often rely on agents self-monitoring or correcting issues after the fact, but they lack mechanisms for real-time oversight. This paper introduces the Enforcement Agent (EA) Framework, which embeds dedicated supervisory agents into the environment to monitor others, detect misbehavior, and intervene through real-time correction. We implement this framework in a custom drone simulation and evaluate it across 90 episodes using 0, 1, and 2 EA configurations. Results show that adding EAs significantly improves system safety: success rates rise from 0.0% with no EA to 7.4% with one EA and 26.7% with two EAs. The system also demonstrates increased operational longevity and higher rates of malicious drone reformation. These findings highlight the potential of lightweight, real-time supervision for enhancing alignment and resilience in multi-agent systems.
- Abstract(参考訳): 自律エージェントがより強力で広く使われるようになるにつれて、特にマルチエージェント設定において、安全で安全に行動し、システム目標と一致し続けることがますます重要になってきています。
現在のシステムは多くの場合、エージェントの自己監視や問題修正に頼っているが、リアルタイム監視のメカニズムは欠如している。
本稿では,他者を監視し,誤動作を検知し,リアルタイムの修正を通じて介入するため,専用の監視エージェントを環境に組み込んだEA(Enforcement Agent)フレームワークを提案する。
このフレームワークをカスタムドローンシミュレーションで実装し,0,1,2EA構成を用いて90エピソードにわたって評価する。
その結果、EAを追加することでシステムの安全性が大幅に向上し、成功率は、EAなしで0.0%から7.4%に上昇し、1つのEAで26.7%、2つのEAでは26.7%となった。
このシステムは、運用寿命の増大と悪意のあるドローンの改造率の向上も示している。
これらの知見は、マルチエージェントシステムにおけるアライメントとレジリエンスを強化するための軽量でリアルタイムな監視の可能性を強調している。
関連論文リスト
- Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
共有タスクを解決するために専門エージェントが協力するマルチエージェントシステムは大きな可能性を秘めている。
1つのエージェントがシステム全体を失敗させる可能性がある。
本稿では、アクション予測中に$textitmonitor$ agent と $textitintervene$ を、将来のエラーが発生する可能性があるときに提案する。
論文 参考訳(メタデータ) (2025-02-09T18:35:08Z) - Free Agent in Agent-Based Mixture-of-Experts Generative AI Framework [0.0]
強化学習自由エージェント (Reinforcement Learning Free Agent, RLFA) アルゴリズムは、永続的な過パフォーマンスを示すエージェントを検出し、除去するための報酬に基づくメカニズムを導入する。
第一のユースケースは不正検出であり、RLFAは事前に設定された閾値以下で検出精度が低下するエージェントを即座に交換する。
このダイナミックでフリーの緊急サイクルは、持続的な正確さ、出現する脅威への迅速な適応、進行中の運用に対する最小限の中断を保証する。
論文 参考訳(メタデータ) (2025-01-29T13:00:22Z) - Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。
これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。
55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
論文 参考訳(メタデータ) (2024-10-14T17:57:02Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
しかし、不器用なエージェントや悪意のあるエージェントがシステム全体のパフォーマンスに与える影響は、まだ解明されていない。
本稿では, 種々のシステム構造の耐震性について考察する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z) - Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。
我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。
AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
論文 参考訳(メタデータ) (2024-06-18T17:32:48Z) - FaultGuard: A Generative Approach to Resilient Fault Prediction in Smart Electrical Grids [53.2306792009435]
FaultGuardは、障害タイプとゾーン分類のための最初のフレームワークであり、敵攻撃に耐性がある。
本稿では,ロバスト性を高めるために,低複雑性故障予測モデルとオンライン逆行訓練手法を提案する。
本モデルでは,耐故障予測ベンチマークの最先端を最大0.958の精度で上回っている。
論文 参考訳(メタデータ) (2024-03-26T08:51:23Z) - Collision Avoidance Verification of Multiagent Systems with Learned Policies [9.550601011551024]
本稿では,マルチエージェントフィードバックループ(MA-NFL)の衝突回避特性を検証するための後方到達性に基づくアプローチを提案する。
私たちは多くの不確実性を説明しており、現実のシナリオとよく一致しています。
提案アルゴリズムは,MA-NFLの衝突回避アルゴリズムを模倣するエージェントを用いて,衝突回避特性を検証できることを示す。
論文 参考訳(メタデータ) (2024-03-05T20:36:26Z) - Plan Better Amid Conservatism: Offline Multi-Agent Reinforcement
Learning with Actor Rectification [74.10976684469435]
オフライン強化学習(RL)アルゴリズムは、直接マルチエージェント設定に転送することができる。
本稿では,この重要な課題に対処するために,Actor Rectification (OMAR) を用いたオフラインマルチエージェント RL を提案する。
OMARはマルチエージェント連続制御ベンチマークにおける最先端性能と強いベースラインを著しく上回る。
論文 参考訳(メタデータ) (2021-11-22T13:27:42Z) - ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in
Multi-Agent Simulations [110.72725220033983]
Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。
ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。
特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
論文 参考訳(メタデータ) (2021-06-10T04:32:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。