論文の概要: ORBIT: A Framework for Multi-Agent Safety and Security Evaluations

• arxiv url: http://arxiv.org/abs/2609.33102v1
• Date: Sun, 27 Sep 2026 02:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:30:03.625513
• Title: ORBIT: A Framework for Multi-Agent Safety and Security Evaluations
• Title（参考訳）: ORBIT: マルチエージェント安全性とセキュリティ評価のためのフレームワーク
• Abstract要約: 実験的なマルチエージェント安全性とセキュリティ研究のための評価フレームワークであるORBITを紹介する。 ORBITは、通信トポロジ、メモリ、スケジューリング、エージェントロールの設定を可能にする。 4つの脅威タイプと4つの防衛戦略、および非敵の失敗をサポートする。
• 参考スコア（独自算出の注目度）: 0.5557232310043895
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent LLM systems are increasingly deployed for complex, long-horizon tasks or emerge as a natural consequence of agents interacting in the wild. Yet they give rise to significant safety and security risks: the flexible protocols that enable task generalization also expose novel threats, from cascading prompt injection to inter-agent collusion. Progress in defending against these threats has been slowed by a lack of shared empirical infrastructure, which forces bespoke environment development for every new defense and makes standardized comparison impossible. Existing evaluations address isolated threat models or single-agent settings, but none jointly vary attack, defense, and architecture across realistic multi-agent environments. To address this gap, we introduce ORBIT, a configurable evaluation framework for empirical multi-agent safety and security research, built on UK AISI's Inspect. ORBIT lets researchers configure communication topologies, memory, scheduling, and agent roles. It supports four threat types and four defense strategies, as well as non-adversarial failures, with a benchmark suite spanning five scenario families covering browser use, computer use, agentic coding, customer service, and cooperative allocation. Our central finding is a gap in defense transferability across threats: per-action defenses that cut a compromised agent's attack success by 60 points on multi-issue coding give no measurable protection against colluding agents, and none of the defenses we tested generalized over all attacks tested. We further demonstrate security-performance tradeoffs and interactions between architecture and defense effectiveness. We make ORBIT available open-source at https://github.com/wlanderson0/orbit.
• Abstract（参考訳）: マルチエージェントLSMシステムは、複雑で長い水平なタスクのためにますますデプロイされるか、野生で相互作用するエージェントの自然な結果として現れる。 タスクの一般化を可能にする柔軟なプロトコルは、即時注入からエージェント間の共謀まで、新たな脅威を露呈する。 これらの脅威に対する防衛の進歩は、共有された経験的インフラの欠如によって減速し、新しい防衛の全てに環境開発を誘発し、標準化された比較を不可能にしている。 既存の評価は、分離された脅威モデルや単一エージェント設定に対処するが、現実的なマルチエージェント環境における攻撃、防御、アーキテクチャを共同で変更することはない。 このギャップに対処するために、英国AISIのInspect上に構築された実証的なマルチエージェント安全性とセキュリティ研究のための構成可能な評価フレームワークであるORBITを紹介する。 ORBITは、通信トポロジ、メモリ、スケジューリング、エージェントロールの設定を可能にする。 4つの脅威タイプと4つの防衛戦略、および非敵の失敗をサポートし、ベンチマークスイートは、ブラウザの使用、コンピュータ使用、エージェントコーディング、カスタマーサービス、協調アロケーションを含む5つのシナリオファミリにまたがる。 私たちの中心的な発見は、脅威間の防衛の移動可能性のギャップである: 侵害されたエージェントの攻撃の成功を60ポイント削減したパーアクションディフェンスは、衝突するエージェントに対する測定可能な保護を与えません。 さらに、セキュリティ性能のトレードオフと、アーキテクチャと防御効果の相互作用を実証する。 ORBITはhttps://github.com/wlanderson0/orbit.orgで公開しています。

関連論文リスト

• OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
  オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。 本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
  論文  参考訳（メタデータ） (2026-02-13T21:32:32Z)
• Exposing Weak Links in Multi-Agent Systems under Adversarial Prompting [5.544819942438653]
  本稿では,マルチエージェントシステムのセキュリティ評価を行うフレームワークであるSafeAgentsを提案する。 広く採用されている5つのマルチエージェントアーキテクチャについて検討する。 この結果から,一般的なデザインパターンには重大な脆弱性があることが判明した。
  論文  参考訳（メタデータ） (2025-11-14T04:22:49Z)
• BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
  BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。 BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
  論文  参考訳（メタデータ） (2025-08-11T16:04:47Z)
• Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
  AIシステムの進化 自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。 そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。 ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
  論文  参考訳（メタデータ） (2025-07-23T13:51:28Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• DoomArena: A framework for Testing AI Agents Against Evolving Security Threats [81.73540246946015]
  本稿では,AIエージェントのセキュリティ評価フレームワークであるDoomArenaを紹介する。 プラグインフレームワークであり、現実的なエージェントフレームワークと簡単に統合できる。 モジュールであり、エージェントがデプロイされる環境の詳細から攻撃の開発を分離する。
  論文  参考訳（メタデータ） (2025-04-18T20:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。