論文の概要: Beyond Single-Agent Alignment: Preventing Context-Fragmented Violations in Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2604.22879v1
- Date: Fri, 24 Apr 2026 03:08:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.022714
- Title: Beyond Single-Agent Alignment: Preventing Context-Fragmented Violations in Multi-Agent Systems
- Title（参考訳）: 単一エージェントアライメントを超えて:マルチエージェントシステムにおけるコンテキストフラグメント違反防止
- Authors: Jie Wu, Ming Gong,
- Abstract要約: 新たなセキュリティリスクの特定と形式化:CFV(Context-Fragmented Violations)
CFVは、個々のエージェントの行動が局所的に安全かつ合理的に見えるが、全体として組織的方針に反する政策違反の類である。
分散ゼロトラスト適用アーキテクチャである分散センチネルを提案する。
- 参考スコア（独自算出の注目度）: 10.660248467840821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We identify and formalize a novel security risk: Context-Fragmented Violations (CFVs) - a class of policy breaches where individual agent actions appear locally safe and reasonable, yet collectively violate organizational policies because critical policy facts are siloed in different departments private contexts. Existing prompt-based alignment mechanisms and monolithic interceptors are poorly matched to violations that span contextual islands. We propose Distributed Sentinel, a distributed zero-trust enforcement architecture that introduces the Semantic Taint Token (STT) Protocol. Through lightweight sidecar proxies, our system propagates security state across organizational boundaries without exposing raw cross-domain data, enabling Counterfactual Graph Simulation for cross-domain policy verification. We construct PhantomEcosystem, a comprehensive benchmark comprising 9 categories of realistic cross-agent violation scenarios with adversarially balanced safe controls. On this benchmark, Distributed Sentinel achieves F1 = 0.95 with 106ms end-to-end latency (16ms verification + 90ms entity extraction on A100), compared to 0.85 F1 for prompt-based filtering and 0.65 for rule-based DLP. To empirically validate the need for external enforcement, we evaluate eight frontier LLMs in execution-oriented multi-agent workflows with per-agent domain world models. All models exhibit substantial violation rates (14-98%), with cross-domain data flows showing systematically higher violation rates than same-domain flows. These results indicate that self-avoidance is unreliable and that multi-agent security benefits from a centralized enforcement layer operating above individual agents.
- Abstract（参考訳）: CFV(Context-Fragmented Violations) - 個々のエージェントアクションが局所的に安全かつ合理的に見えるが、批判的な政策事実が異なる部署のプライベートな文脈でサイロ化されているため、組織的なポリシーに違反している、ポリシー違反のクラス。
既存のプロンプトベースのアライメント機構とモノリシックインターセプターは、文脈上の島々にまたがる違反とあまり一致しない。
本稿では,セマンティックタレントトークン(STT)プロトコルを導入した分散ゼロトラスト執行アーキテクチャであるDistributed Sentinelを提案する。
軽量なサイドカープロキシを通じて、当社のシステムは、生のクロスドメインデータを公開することなく、組織の境界を越えてセキュリティ状態を伝搬し、クロスドメインポリシー検証のための対実グラフシミュレーションを可能にする。
PhantomEcosystemは,9種類の現実的クロスエージェント違反シナリオと,対向的にバランスの取れた安全制御を含む総合的なベンチマークである。
このベンチマークでは、Distributed Sentinelは106msのエンドツーエンドレイテンシ(A100では16msの検証+90msのエンティティ抽出)でF1 = 0.95を達成するが、プロンプトベースのフィルタリングでは0.85F1、ルールベースのDLPでは0.65である。
外部執行の必要性を実証的に検証するため,実行指向型マルチエージェントワークフローにおける8つのフロンティアLCMをエージェントごとのドメイン・ワールド・モデルで評価した。
すべてのモデルが重大な違反率(14-98%)を示し、ドメイン間データフローは、同じドメインフローよりも体系的に高い違反率を示す。
これらの結果は、自己回避は信頼できないことを示し、複数のエージェントのセキュリティは、個々のエージェントの上を動く中央集権的な執行層から恩恵を受けることを示唆している。
関連論文リスト
- GuardPhish: Securing Open-Source LLMs from Phishing Abuse [0.7009487789080343]
オフラインおよびエンタープライズ環境でのオープンソースのLarge Language Models(LLM)は、ほとんど検討されていないセキュリティリスクを導入している。
大規模マルチベクトルフィッシングプロンプトデータセットであるGuardPhishを用いて,この脆弱性を調査した。
決定論的5つのモデルアンサンブルをラベル付けに用いて、ほぼ完全なモデル間合意を実現する。
論文 参考訳（メタデータ） (2026-04-19T08:02:57Z) - Parallax: Why AI Agents That Think Must Never Act [0.0]
本稿では,4つの原則に基づく自律型AI実行のパラダイムであるParallaxを紹介する。
本稿では、Goのオープンソースリファレンス実装であるOpenParallaxを紹介し、Assume-Compromise Evaluationを用いて評価する。
9つの攻撃カテゴリにおける280件の敵の試験ケースのうち、パララックスは98.9%の攻撃をブロックし、デフォルト設定ではゼロの偽陽性、最大セキュリティ設定では100%の攻撃をブロックした。
論文 参考訳（メタデータ） (2026-04-14T17:20:48Z) - LanG -- A Governance-Aware Agentic AI Platform for Unified Security Operations [2.1142550386295853]
本稿では,LLM支援ネットワークガバナンス(LanG)について述べる。
プラットフォームはマルチテナントアイソレーション、ロールベースのアクセス、完全にローカルなデプロイメントをサポートする。
精密な異常検出と脅威検出は、侵入検出ベンチマークでそれぞれ99.0%と91.0%の重み付きF1スコアを達成する。
論文 参考訳（メタデータ） (2026-04-07T05:22:25Z) - Explainable Autonomous Cyber Defense using Adversarial Multi-Agent Reinforcement Learning [2.0391237204597368]
本稿では,自律型サイバー防御のための因果的マルチエージェント決定フレームワーク(C-MADF)を提案する。
C-MADFは因果モデリングと敵対的二重政治制御を統合している。
現実世界のCICIoT2023データセットでは、C-MADFは偽陽性率を11.2%、9.7%、そして8.4%と3つの最先端文献のベースラインを1.8%に下げている。
論文 参考訳（メタデータ） (2026-04-06T05:40:43Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Authenticated Workflows: A Systems Approach to Protecting Agentic AI [0.0]
企業エージェントAIのための,最初の完全信頼層である認証を導入します。
我々は、すべての境界交差において、意図(組織方針を満たす操作)と整合性(操作は暗号的に真である)を強制する。
これにより、決定論的セキュリティ操作が提供され、有効な暗号証明が実行されるか、拒否される。
論文 参考訳（メタデータ） (2026-02-11T03:04:50Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳（メタデータ） (2025-08-11T16:04:47Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳（メタデータ） (2025-07-28T05:13:04Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。