論文の概要: Beyond Single-Agent Alignment: Preventing Context-Fragmented Violations in Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2604.22879v1
- Date: Fri, 24 Apr 2026 03:08:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.022714
- Title: Beyond Single-Agent Alignment: Preventing Context-Fragmented Violations in Multi-Agent Systems
- Title（参考訳）: 単一エージェントアライメントを超えて:マルチエージェントシステムにおけるコンテキストフラグメント違反防止
- Abstract要約: 新たなセキュリティリスクの特定と形式化:CFV(Context-Fragmented Violations)
CFVは、個々のエージェントの行動が局所的に安全かつ合理的に見えるが、全体として組織的方針に反する政策違反の類である。
分散ゼロトラスト適用アーキテクチャである分散センチネルを提案する。
- 参考スコア（独自算出の注目度）: 10.660248467840821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We identify and formalize a novel security risk: Context-Fragmented Violations (CFVs) - a class of policy breaches where individual agent actions appear locally safe and reasonable, yet collectively violate organizational policies because critical policy facts are siloed in different departments private contexts. Existing prompt-based alignment mechanisms and monolithic interceptors are poorly matched to violations that span contextual islands. We propose Distributed Sentinel, a distributed zero-trust enforcement architecture that introduces the Semantic Taint Token (STT) Protocol. Through lightweight sidecar proxies, our system propagates security state across organizational boundaries without exposing raw cross-domain data, enabling Counterfactual Graph Simulation for cross-domain policy verification. We construct PhantomEcosystem, a comprehensive benchmark comprising 9 categories of realistic cross-agent violation scenarios with adversarially balanced safe controls. On this benchmark, Distributed Sentinel achieves F1 = 0.95 with 106ms end-to-end latency (16ms verification + 90ms entity extraction on A100), compared to 0.85 F1 for prompt-based filtering and 0.65 for rule-based DLP. To empirically validate the need for external enforcement, we evaluate eight frontier LLMs in execution-oriented multi-agent workflows with per-agent domain world models. All models exhibit substantial violation rates (14-98%), with cross-domain data flows showing systematically higher violation rates than same-domain flows. These results indicate that self-avoidance is unreliable and that multi-agent security benefits from a centralized enforcement layer operating above individual agents.
- Abstract（参考訳）: CFV(Context-Fragmented Violations) - 個々のエージェントアクションが局所的に安全かつ合理的に見えるが、批判的な政策事実が異なる部署のプライベートな文脈でサイロ化されているため、組織的なポリシーに違反している、ポリシー違反のクラス。
既存のプロンプトベースのアライメント機構とモノリシックインターセプターは、文脈上の島々にまたがる違反とあまり一致しない。
本稿では,セマンティックタレントトークン(STT)プロトコルを導入した分散ゼロトラスト執行アーキテクチャであるDistributed Sentinelを提案する。
軽量なサイドカープロキシを通じて、当社のシステムは、生のクロスドメインデータを公開することなく、組織の境界を越えてセキュリティ状態を伝搬し、クロスドメインポリシー検証のための対実グラフシミュレーションを可能にする。
PhantomEcosystemは,9種類の現実的クロスエージェント違反シナリオと,対向的にバランスの取れた安全制御を含む総合的なベンチマークである。
このベンチマークでは、Distributed Sentinelは106msのエンドツーエンドレイテンシ(A100では16msの検証+90msのエンティティ抽出)でF1 = 0.95を達成するが、プロンプトベースのフィルタリングでは0.85F1、ルールベースのDLPでは0.65である。
外部執行の必要性を実証的に検証するため,実行指向型マルチエージェントワークフローにおける8つのフロンティアLCMをエージェントごとのドメイン・ワールド・モデルで評価した。
すべてのモデルが重大な違反率(14-98%)を示し、ドメイン間データフローは、同じドメインフローよりも体系的に高い違反率を示す。
これらの結果は、自己回避は信頼できないことを示し、複数のエージェントのセキュリティは、個々のエージェントの上を動く中央集権的な執行層から恩恵を受けることを示唆している。
関連論文リスト
- EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。
これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。
また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文 参考訳（メタデータ） (2026-09-05T05:56:41Z) - Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。
Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
論文 参考訳（メタデータ） (2026-09-02T07:57:12Z) - Who Pays the Price? Stakeholder-Centric Prompt Injection Benchmarking for Real-world Web Agents [93.19140872946842]
大規模言語モデル(LLM)によって駆動されるWebエージェントは、現実の環境にますますデプロイされる。
これにより、一見良質なコンテンツがエージェントの振る舞いを操作する敵の命令を埋め込む、プロンプト・インジェクション・アタックに対して脆弱になる。
実世界のWebエージェントシステムにおいて,損害を体系的に分類し,属性付けするベンチマークである textbfsysname を導入する。
論文 参考訳（メタデータ） (2026-06-11T14:12:43Z) - Semantic Quorum Assurance: Collective Certification for Non-Deterministic AI Infrastructure [2.124730017640531]
非決定論的エージェント基盤を管理するためのコントロールプレーンプリミティブであるQuorum Semantic Assurance(SQA)を紹介する。
SQAは暗号エビデンスチェーンに縛られた宣言的実行契約として提案を表現し、それを読み取り専用でサンドボックス化されたバリデータエージェントのさまざまなパネルにルーティングする。
インフラにインスパイアされた500の突然変異シナリオでは、曖昧なシナリオを除く安全/安全でない試験の安全性が報告され、SQAはシングルエージェント検証の18.5%から0.3%まで安全でない承認を減じている。
論文 参考訳（メタデータ） (2026-06-06T07:31:04Z) - A New Framework for Cybersecurity Refusals in AI Agents [52.94784168139071]
攻撃的セキュリティの文脈において、拒絶境界を確立するための最初の枠組みを提示する。
本研究では,現在のLLMエージェントがWebベースの攻撃的セキュリティシナリオにおいて,適切な拒絶境界にどのように準拠しているかを評価するために,このフレームワークを適用した。
論文 参考訳（メタデータ） (2026-05-31T15:39:39Z) - DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。
DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。
DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
論文 参考訳（メタデータ） (2026-05-06T11:59:48Z) - GuardPhish: Securing Open-Source LLMs from Phishing Abuse [0.7009487789080343]
オフラインおよびエンタープライズ環境でのオープンソースのLarge Language Models(LLM)は、ほとんど検討されていないセキュリティリスクを導入している。
大規模マルチベクトルフィッシングプロンプトデータセットであるGuardPhishを用いて,この脆弱性を調査した。
決定論的5つのモデルアンサンブルをラベル付けに用いて、ほぼ完全なモデル間合意を実現する。
論文 参考訳（メタデータ） (2026-04-19T08:02:57Z) - Parallax: Why AI Agents That Think Must Never Act [0.0]
本稿では,4つの原則に基づく自律型AI実行のパラダイムであるParallaxを紹介する。
本稿では、Goのオープンソースリファレンス実装であるOpenParallaxを紹介し、Assume-Compromise Evaluationを用いて評価する。
9つの攻撃カテゴリにおける280件の敵の試験ケースのうち、パララックスは98.9%の攻撃をブロックし、デフォルト設定ではゼロの偽陽性、最大セキュリティ設定では100%の攻撃をブロックした。
論文 参考訳（メタデータ） (2026-04-14T17:20:48Z) - LanG -- A Governance-Aware Agentic AI Platform for Unified Security Operations [2.1142550386295853]
本稿では,LLM支援ネットワークガバナンス(LanG)について述べる。
プラットフォームはマルチテナントアイソレーション、ロールベースのアクセス、完全にローカルなデプロイメントをサポートする。
精密な異常検出と脅威検出は、侵入検出ベンチマークでそれぞれ99.0%と91.0%の重み付きF1スコアを達成する。
論文 参考訳（メタデータ） (2026-04-07T05:22:25Z) - Explainable Autonomous Cyber Defense using Adversarial Multi-Agent Reinforcement Learning [2.0391237204597368]
本稿では,自律型サイバー防御のための因果的マルチエージェント決定フレームワーク(C-MADF)を提案する。
C-MADFは因果モデリングと敵対的二重政治制御を統合している。
現実世界のCICIoT2023データセットでは、C-MADFは偽陽性率を11.2%、9.7%、そして8.4%と3つの最先端文献のベースラインを1.8%に下げている。
論文 参考訳（メタデータ） (2026-04-06T05:40:43Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳（メタデータ） (2026-02-13T21:32:32Z) - Authenticated Workflows: A Systems Approach to Protecting Agentic AI [0.0]
企業エージェントAIのための,最初の完全信頼層である認証を導入します。
我々は、すべての境界交差において、意図(組織方針を満たす操作)と整合性(操作は暗号的に真である)を強制する。
これにより、決定論的セキュリティ操作が提供され、有効な暗号証明が実行されるか、拒否される。
論文 参考訳（メタデータ） (2026-02-11T03:04:50Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳（メタデータ） (2025-08-11T16:04:47Z) - Security Challenges in AI Agent Deployment: Insights from a Large Scale Public Competition [101.86739402748995]
44の現実的なデプロイメントシナリオを対象とした,22のフロンティアAIエージェントを対象にしています。
Agent Red Teamingベンチマークを構築し、19の最先端モデルで評価します。
私たちの発見は、今日のAIエージェントの重要かつ永続的な脆弱性を浮き彫りにしたものです。
論文 参考訳（メタデータ） (2025-07-28T05:13:04Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。