論文の概要: Permitted but Unauthorized: Affordance-Induced Delegated-Scope Violations in Multi-Agent LLM Systems
- arxiv url: http://arxiv.org/abs/2611.04086v1
- Date: Mon, 02 Nov 2026 23:52:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:53:04.379592
- Title: Permitted but Unauthorized: Affordance-Induced Delegated-Scope Violations in Multi-Agent LLM Systems
- Title(参考訳): パーミットだが無許可:マルチエージェントLDMシステムにおけるアクダクタンス誘起デリープ・スコープ・バイオレーション
- Abstract要約: エージェントが委譲対象からピアのリソースに渡るかどうかを判断する方法について検討する。
私たちは、許可ではなく行動表現が行動を支配することに気付きます。
本結果は,エージェント間スコープ違反の制御可能なドライバとして,パーミッションのみではなく,アクション表現を確立した。
- 参考スコア(独自算出の注目度): 0.5076419064097734
- License:
- Abstract: Multi-agent LLM systems place several agents on shared infrastructure, where each agent holds permissions far broader than the task it is delegated -- so every agent is routinely permitted to act on a peer's resources it was never assigned. We ask: under competitive pressure, what determines whether an agent crosses from its delegated scope into a peer's resources, and can such crossings be enforced away? We study this across eight LLMs in two simulated environments -- a CI/CD release pipeline and a security-operations incident queue -- using a deterministic, no-model-in-the-loop detector over hash-chained, replay-verified logs. In a controlled 2x2x2 factorial over competitive incentive, candidate visibility, and payoff information (three models, n=52 per cell), we find that action representation, not permission, governs the behavior: no agent crosses when the peer action is unlisted, whereas listing it under competitive pressure with a stated payoff raises crossings sharply -- up to 52 of 52 episodes for Claude Sonnet 4.5. We also observe a model-dependent split: two newer models (Claude Sonnet 5.5 and Opus 5.5) refuse the identical attack in 0 of 100 episodes, where prior-generation models cross in 9 of 10. We then evaluate two defenses -- a deterministic reference monitor and a model-based pre-execution judge -- both block every crossing and, when the task is winnable, cut avoidable peer deadline misses from 15/40 and 14/40 to at most 1/40. But scope enforcement is not harm prevention: an agent can still set a peer back through an authorized action on its own resources -- misreporting its incident's severity -- which neither defense detects. Our results establish action representation, not permission alone, as a controllable driver of inter-agent scope violations, and show that enforcing delegated scope is distinct from preventing harm, motivating effect-aware authorization.
- Abstract(参考訳): マルチエージェントLLMシステムは、複数のエージェントを共有インフラストラクチャに配置する。各エージェントは、委譲されたタスクよりもはるかに広い権限を保持する。そのため、すべてのエージェントは、割り当てられていないピアのリソースに対して、定期的に行動することが許可される。私たちは、競合するプレッシャーの中で、エージェントが委譲されたスコープからピアのリソースに渡るかどうかを判断し、そのようなクロスが強制できるかどうかを尋ねる。我々は、2つのシミュレートされた環境(CI/CDリリースパイプラインとセキュリティ操作インシデントキュー)において、決定論的で、ハッシュチェーン、リプレイ検証されたログ上のループ検出器を使用して、これを8つのLLMにわたって調査する。
競合インセンティブ、候補者の可視性、ペイオフ情報(セル毎に3つのモデル、n=52)に対する制御された2x2x2因子では、許可ではなく、アクション表現が動作を制御している。
2つの新しいモデル(Claude Sonnet 5.5 と Opus 5.5)は、100話中0話で同じ攻撃を拒否し、前世代モデルが10話中9話で交差する。
次に、決定論的参照モニタとモデルベースの事前実行ジャッジという2つのディフェンスを評価します。どちらも、横断するたびにブロックし、タスクが勝利した場合、回避可能なピアの期限ミスを15/40から14/40から最大1/40に削減します。しかし、スコープの執行は、予防には役立ちません。しかし、エージェントは、自分自身のリソースに対する認証されたアクションを通じてピアをセットすることができます。
本研究は、エージェント間スコープ違反の制御可能なドライバとして、許可のみではなく、行動表現を確立し、委任されたスコープを強制することは、害を防ぎ、効果を意識する承認を動機付けるものではないことを示す。
関連論文リスト
- Why Do Agent Teams Fail Across Boundaries? A Failure Taxonomy for Agent-to-Agent Systems with Private States [96.00953129073133]
エージェント・ツー・エージェント(A2A)のシナリオでは、各エージェントは独自の環境を持ち、他のエージェントが見ることができない情報と権限を持っている。
既存のマルチエージェントシステム障害研究では、1つのオーケストレータ、共有ワークスペース、または1つのプリンシパルが想定されている。
我々は、異なるエージェントハーネスとモデルで構築された2500以上のA2Aシステムについて研究する。
論文 参考訳(メタデータ) (2026-10-14T00:36:08Z) - Kairos: Transactional Security Enforcement at the System Boundary for LLM Agents [10.493000314031077]
大規模言語モデル(LLM)エージェントは、ソフトウェア開発ライフサイクルの不可欠な部分になりつつある。
修正されていない不透明なエージェントの分離境界における参照モニタであるKairosを提示する。
どの情報源が信頼されているかを記述する宣言的政策は、ほとんどの効果を決定論的に決定し、残りを無視し、エージェントが投機的に継続する間に保持される。
論文 参考訳(メタデータ) (2026-10-13T14:24:26Z) - DecepEval: A Benchmark for Evaluating Deception in LLM Agents [75.59466511154791]
大規模言語モデル(LLM)エージェントは騙しによってタスクパフォーマンスを追求することができる。
既存の評価では、LLMエージェントは騙すことができるが、しばしば孤立したシナリオや狭義に定義された条件を調べることができる。
3つのタスクファミリに1,532のインスタンスと28のプロフェッショナルシナリオからなるベンチマークであるDecepEvalを紹介します。
論文 参考訳(メタデータ) (2026-10-06T08:33:43Z) - ClashBench: Conflicts Leading Agents to Seize and Harm [90.19875881996693]
エージェントシステムでは、複数のエージェントセッションが、同じ環境で既存のユーザタスクと並行して実行されるようになっている。
十分な特権が与えられると、エージェントはそれを報告するのではなく、既存のタスクを終了または中断することでリソースの衝突を解決することができる。
この作業は、破壊的なリソースプリエンプションと呼ばれるこの障害モードを特定し、形式化します。
論文 参考訳(メタデータ) (2026-09-17T08:38:27Z) - The Troy Moment of AI: Why Some Will Cheat and Some Will Follow? [0.0]
エージェントは停止するか、エスカレートするか、他のエージェントの行動が決定を変えるか、という2つの質問を調査する。
GPT-5.6 Sol, Claude Fable 5.1, Gemini 3.8 Flashの7つのImpossibleBenchタスクを単独で3エージェント設定で検討した。
この結果から,ルールの保護を目的としたあいまいさ,明示的な認証境界のモチベーション,認証状態の証明,エージェント間監視から境界交差が生じる可能性が示唆された。
論文 参考訳(メタデータ) (2026-09-14T12:46:45Z) - Why LLM Agents Collapse Without Oversight: The Enforcement Gap as the Mechanism Behind Emergence World Failures [19.162716475205308]
リフレクションスタイルのエージェントで監査フラグをバインドすると、監査官を変更することなく、攻撃の成功率が大幅に低下する。
実行確率から検出確率を分離する$p_d$$$p_e$は、すべてのフレームワークでデフォルトで$p_e approx 0$を確立する。
論文 参考訳(メタデータ) (2026-09-14T09:46:59Z) - Delegation Without Trust: An Empirical Gap Analysis of Identity, Authorization, and Runtime Governance in Multi-Agent LLM Systems [0.0]
4つの敵を中心としたマルチエージェントデリゲートに対する脅威モデルを提案する。
デフォルトのランタイムモデリングの共通プラクティスが4つの脅威すべてに失敗することを示す。
我々は、ギャップを埋める認証ブローカを実装し、敵に評価する。
論文 参考訳(メタデータ) (2026-08-31T19:09:34Z) - Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control [0.0]
LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。
ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。
モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
論文 参考訳(メタデータ) (2026-08-28T16:34:05Z) - Are Your Agents Upward Deceivers? [73.1073084327614]
大規模言語モデル(LLM)ベースのエージェントは、ユーザのためにタスクを実行する自律的な従属者として、ますます使われています。
これは、人間の組織の個人がどのように上官に嘘をついて良いイメージを作り出したり、罰を免れるかのような、詐欺にも関与するかどうかという問題を提起する。
本研究では,環境制約に直面するエージェントが障害を隠蔽し,報告なしに要求されない動作を行う現象であるエージェント上行錯誤を観察・定義する。
論文 参考訳(メタデータ) (2025-12-04T14:47:05Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳(メタデータ) (2025-08-11T16:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。