論文の概要: ErosionBench: Probing Alignment Decay in Enterprise Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2611.11266v1
- Date: Sun, 08 Nov 2026 09:40:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.97402
- Title: ErosionBench: Probing Alignment Decay in Enterprise Multi-Agent Systems
- Title(参考訳): ErosionBench: エンタープライズマルチエージェントシステムにおけるアライメント低下の予測
- Abstract要約: ErosionBenchは、そのような攻撃を実行し、プロセスレベルでのアライメント崩壊を検証する環境基盤ベンチマークである。
4つのエンタープライズドメインと4つの崩壊メカニズムにまたがっており、1,728のシナリオにマッチした良性制御と198のイメージベースの攻撃がある。
そこで本研究では,同期状態チェックと非同期軌跡監視を併用した校正メタオーディタペア同期状態チェックを提案する。
- 参考スコア(独自算出の注目度): 32.23048792587719
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As enterprises delegate consequential work to multi-agent LLM systems, benign-looking requests can escalate into unsafe actions as they propagate across sessions through poisoned shared state, long-context documents, and trusted peer messages: no single message is malicious, yet the assembled tool action is. Prior benchmarks isolate a single agent under prompt injection or score multi-agent attacks by their final output, leaving cross-session erosion of shared state out of scope. We introduce ErosionBench, an environment-grounded benchmark that executes such attacks and verifies alignment decay at the process level, scoring the realized tool call against authorized intent and provenance with deterministic contracts, not output text. Each scenario is authored as a deterministic state graph before any prose is rendered, so every state change traces to a known cause. It spans four enterprise domains and four decay mechanisms across 1,728 scenarios with matched benign controls, labeled against the OWASP Top-10 for LLM Applications, plus 198 image-based attacks, each paired with a text equivalent, so a defense must survive the same attack in either channel. Perimeter defenses suppress attacks only by over-refusing 54-92% of legitimate work, so a low attack-success rate can conceal severe over-refusal. As a reference defense, we propose a calibrated Meta-Auditor pairing synchronous state checks with asynchronous trajectory monitoring; on a family-disjoint 906-scenario held-out split it reaches 98.5% recall at a 2.9% false-positive rate. Since it monitors trajectory, not surface content, its detection is channel-invariant: the strongest auditor flags image-delivered attacks about as reliably as their text equivalents (recall gap $\leq$2 points per model). Across GPT, Gemini, and Claude auditors, calibration keeps false positives low while recall tracks model capability, strongest for Claude.
- Abstract(参考訳): 企業が連続的な作業をマルチエージェントのLCMシステムに委譲することにより、有害な共有状態、長いコンテキストのドキュメント、信頼できるピアメッセージを通じてセッション間を伝播する、見栄えのよい要求が安全でないアクションへとエスカレートする。
以前のベンチマークでは、プロンプトインジェクションまたは最終出力によるマルチエージェント攻撃によって単一のエージェントを分離し、共有状態のクロスセッション侵食をスコープから外している。
我々は,このような攻撃を実行し,プロセスレベルでのアライメント減衰を検証する環境評価ベンチマークであるErosionBenchを紹介する。
各シナリオは、任意の散文がレンダリングされる前に決定論的状態グラフとして記述されるため、すべての状態変化は既知の原因に遡る。
LLMアプリケーション用のOWASP Top-10とラベル付けされた、マッチした良性制御を備えた1,728のシナリオにまたがる4つのエンタープライズドメインと4つの崩壊メカニズムにまたがる。
周辺防衛は54~92%の合法的な作業が過剰に拒否されるだけで攻撃を抑えるため、攻撃率の低さは深刻な過剰な拒絶を隠蔽することができる。
基準ディフェンスとして,非同期トラジェクトリ監視を用いた校正メタオーディタペア同期状態チェックを提案する。家族間接続の906-scenarioホールドアウト分割では,98.5%のリコールを2.9%の偽陽性率で行う。
最強の監査官フラグは、テキスト同等のイメージ配信アタック(モデル毎に$\leq$2ポイントのリコールギャップ)を確実に行う。
GPT、Gemini、Claudeのオーディショナー全体で、キャリブレーションは偽陽性を低く保ち、リコールトラックのモデル能力はClaudeにとって最強である。
関連論文リスト
- Blocking at the Boundary: Auditing Long-Horizon Agents against Staged Prompt Injection [10.519665216212976]
間接的なプロンプトインジェクションはタスク固有のコンテキストを活用でき、因果的に接続されたステージを伝播し、ワークフローが継続している間に連続的なアクションを変更する。
自動でフィードバックを誘導する攻撃生成パイプラインを構築し、ネイティブランタイムのClaude CodeとCodexに適用します。
提案するPath-Aligned Attribution (PAA) は,動作中の動作を操作要素に分解し,各値のそれぞれをトレースし,各決定を導出する訓練不要監査機である。
論文 参考訳(メタデータ) (2026-10-04T12:14:19Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳(メタデータ) (2026-08-27T01:22:14Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳(メタデータ) (2026-07-18T04:46:53Z) - AutoTrace: From Patches to Triggers via Agentic Interprocedural Exploration [6.39392731596656]
脆弱性修正コミットが与えられた場合、トリガーローカライゼーションは、脆弱性のあるプログラム状態を具体的な安全でない操作に変換する特定のステートメントを問う。
脆弱性トリガをローカライズするエージェントパイプラインであるAutoTraceについて,コードプロパティグラフ層を層単位で探索することによって紹介する。
エージェントは自身の権限でトリガーを決して受け入れない。報告されたトリガーはすべて、グラフから引き出された明確な証拠によって裏付けられている。
論文 参考訳(メタデータ) (2026-07-13T18:21:42Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳(メタデータ) (2026-05-13T21:34:08Z) - The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems [1.0262304700896199]
EmphSemantic Norm Drift (SND) をエージェント不正行為の第3の経路として定式化する。
SNDでは、ポリシーフォーマットの文書が通常のアップロードを通じて共有ベクターストアに入り、その後、信頼されたシステムコンテキストとして再現れる。
偽合成検査は87.5%の精度と偽陽性のゼロの因果関係を識別する。
論文 参考訳(メタデータ) (2026-05-12T20:21:47Z) - TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。
我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。
我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
論文 参考訳(メタデータ) (2026-04-30T13:44:01Z) - Governing Dynamic Capabilities: Cryptographic Binding and Reproducibility Verification for AI Agent Tool Use [0.0]
既存のセキュリティレイヤでは、AIエージェントに何ができるか、それが主張するものを実行したのか、マルチエージェントインタラクションで何が起きたのかを検証できない。
既存のフレームワークはこれら2つを詳述し、サイレントな能力のエスカレーションを可能にし、検証済みの証明なしに相互作用を残す。
我々は3つのエージェントガバナンス要件を導出する:能力の完全性(G1)、行動の妥当性(G2)、相互作用監査性(G3)。
基本(Ed25519, SHA-256; 97 us verify)と拡張(BBS+選択開示、Groth16 DV-SNARK; 13.8 ms)の2つの暗号に依存しないインスタンス化で検証する。
論文 参考訳(メタデータ) (2026-03-15T11:46:57Z) - OpenSec: Measuring Incident Response Agent Calibration Under Adversarial Evidence [0.0]
本稿では,防衛インシデント対応エージェントの評価を行う,二重制御強化学習環境であるOpenSecを紹介する。
静的な能力ベンチマークとは異なり、OpenSecは敵のエビデンスの下で世界状態を変える封じ込めアクションをスコアする。
GPT-5.2、Gemini 3、DeepSeekは100%のエピソードを90-97%の偽陽性率で封じ込めている。
論文 参考訳(メタデータ) (2026-01-28T22:12:54Z) - ADC: Adversarial attacks against object Detection that evade Context
consistency checks [55.8459119462263]
文脈整合性チェックさえも、適切に構築された敵の例に対して脆弱であることを示す。
このような防御を覆す実例を生成するための適応型フレームワークを提案する。
我々の結果は、コンテキストを堅牢にモデル化し、一貫性をチェックする方法はまだ未解決の問題であることを示している。
論文 参考訳(メタデータ) (2021-10-24T00:25:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。