論文の概要: Permission Denied: Policy-Graded Evaluation of Coding Agents in Hardened Environments
- arxiv url: http://arxiv.org/abs/2608.02670v1
- Date: Sun, 02 Aug 2026 14:26:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.88176
- Title: Permission Denied: Policy-Graded Evaluation of Coding Agents in Hardened Environments
- Title（参考訳）: パーミッションデニッド:硬化環境における符号化剤の政策グラデーション評価
- Abstract要約: 実世界の一般的な企業規制から派生したネストされたセキュリティポリシーレベルに対して、ターミナルベンチ2.1上の12のコーディングエージェントを評価した。
我々は、政策が行動を妨げるときにエージェントがどのように振る舞うかを特徴付け、障害のハードニングを分解する。
コーディングエージェントのポリシー制約付き評価を可能にするオープンソースのハードニングプラグインであるBoundary-Benchをリリースする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents increasingly run inside organizations whose security controls (scoped credentials, restricted egress, read-only filesystems, non-root execution) constrain them like any other software. Existing benchmarks, however, evaluate agents almost exclusively in permissive sandboxes, so it is unknown how performance changes when policy is enforced. In this work, we evaluate 12 coding agents on Terminal-Bench 2.1 across nested security policy levels derived from common real-world enterprise restrictions. Hardening is never free but far from uniform: under the strictest policy, success losses reach 18.3 points and cost inflation 167.3\%, and the two axes disagree; the model that best preserves success is also the one that loses the most efficiency, so model choice is policy-dependent. Beyond aggregate scores, we characterize how agents behave when policy blocks their actions and decompose the failures hardening induces: runs grind into timeouts or wrong solutions rather than stopping early, in a mix that differs by model. To ground comparisons, we verify task solvability under the strictest policy, separating model failures from tasks the policy forecloses. We release Boundary-Bench, an open-source hardening plugin enabling policy-constrained evaluation of coding agents on Terminal-Bench and compatible benchmarks.
- Abstract（参考訳）: コーディングエージェントは、セキュリティコントロール(検査された認証情報、制限されたエクスプレス、読み取り専用ファイルシステム、非ルート実行)が他のソフトウェアと同じようにそれらを制限している組織内でますます動作します。
しかし、既存のベンチマークでは、エージェントをほとんど寛容なサンドボックスで評価しているため、ポリシーが施行されたときにパフォーマンスがどのように変化するかは分かっていない。
本研究は,企業における共通制約に基づくネスト型セキュリティポリシレベルを対象に,ターミナル・ベンチ2.1のコーディングエージェントを12個評価する。
最も厳格な政策の下では、成功の損失は18.3ポイントに達し、コストインフレーション167.3\%に達する。
集約スコア以外にも、ポリシーがアクションをブロックし、障害を分解すると、エージェントがどのように振る舞うかを特徴付けます。
比較を基礎として,最も厳密な政策の下での課題解決可能性を検証する。
我々は、Continal-Benchおよび互換性のあるベンチマーク上でのコーディングエージェントのポリシー制約付き評価を可能にするオープンソースのハードニングプラグインであるBoundary-Benchをリリースした。
関連論文リスト
- HazardAuditor: From Executable Threats to Safer Computer-Use Agents [50.06351661912873]
既存のガードモデルは静的なプロンプトと応答をターゲットとしている。
既存の安全プラットフォームは、正規化された監督ではなく、ガードモデルで学ぶ必要がある評価判断を生成する。
両ギャップを埋める実行基盤フレームワークであるHazardAuditorを紹介します。
論文 参考訳（メタデータ） (2026-09-14T07:09:33Z) - Policy Loopholes in Agent Evaluation: When Policy Ambiguity Masquerades as Agent Error [2.0305676256390934]
ベンチマーク開発者は、金のアノテーションを集める前にポリシーを監査する必要がある。
ドメイン間の比較によって、エクスプロイラビリティはポリシーの曖昧さとツールの許容性の両方を必要とすることが明らかになった。
論文 参考訳（メタデータ） (2026-09-13T10:00:13Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-26T12:13:05Z) - OpenAgentFlow: Enabling System-Wide Safety Boundaries for Heterogeneous AI Agent Fleets [30.42587289236515]
制御プレーン/アクションプレーンアーキテクチャであるOpenAgentFlowについて述べる。
GUI、API、ツール、LLM生成アクションは共通のAgentEventストリームに正規化され、共有事前実行ポリシー実行ポイントによって仲介される。
これにより、互換性のないエグゼクタ間で共通のガバナンス層が提供され、エージェント、プロンプト、モデル、実行パスを変更することなく、新しいポリシーが有効になる。
論文 参考訳（メタデータ） (2026-08-14T02:55:59Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions [78.49000936275773]
我々は、一般的な汚職下でのコンピュータ利用エージェントの堅牢性を評価するために設計されたベンチマークであるAgentHijackを紹介する。
MLLMをベースとした各種デスクトップタスクを評価し, 汚職の小さな事例であっても, 大幅な性能劣化が生じることを確認した。
本稿では,動作の要約と環境チェックに責任を負う見物人として,アクションジェネレータと接地機能を統合したフレームワークであるAgent Hijack-Agentを提案する。
論文 参考訳（メタデータ） (2026-05-25T11:09:22Z) - Do Coding Agents Understand Least-Privilege Authorization? [14.240332406666779]
我々は、現在のモデルが認証境界自体を推測できるかどうか検討する。
We show that frontier model often off permissions by the execution chain while giving unuseed or sensitive accesss。
そこで我々は,まずカバレッジ指向のポリシを生成し,各エントリをグラウンドと感度で監査する,十分性-高度分解法を提案する。
論文 参考訳（メタデータ） (2026-05-14T14:05:58Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - PolicyBank: Evolving Policy Understanding for LLM Agents [51.86716874651299]
PolicyBankは構造化されたツールレベルの政策洞察を維持し、それらを反復的に洗練する。
PolicyBankは、人間の神託に対するギャップの最大82%を閉じている。
論文 参考訳（メタデータ） (2026-04-16T20:29:30Z) - Near-Miss: Latent Policy Failure Detection in Agentic Workflows [9.719140082591956]
エージェントの会話トレースにおける遅延ポリシー障害を検出するための新しい指標を提案する。
その結果,ツールコールの変異を伴う軌道の8～17%に潜伏障害がみられた。
論文 参考訳（メタデータ） (2026-03-31T12:26:35Z) - Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks? [58.48689960350828]
エージェントインタフェースにおけるシンプルでモジュール的で,モデルに依存しないディフェンスが,高ユーティリティで完全なセキュリティを実現することを示す。
ツール入力ファイアウォール(最小限のファイアウォール)とツール出力ファイアウォール(サニタイザ)の2つのファイアウォールをベースとしたディフェンスを採用している。
論文 参考訳（メタデータ） (2025-10-06T18:09:02Z) - Safe and Compliant Cross-Market Trade Execution via Constrained RL and Zero-Knowledge Audits [0.5586191108738564]
本稿では、厳格なコンプライアンスの実施と実行品質のバランスをとるクロスマーケットアルゴリズムトレーディングシステムを提案する。
アーキテクチャは、高レベルプランナー、強化学習実行エージェント、独立コンプライアンスエージェントを含む。
対t検定による95%信頼度レベルへの影響を報告し,CVaRによる尾部リスクの検討を行った。
論文 参考訳（メタデータ） (2025-10-06T15:52:12Z) - How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation [17.638831964639834]
行動クローニングポリシーは、人間のデモンストレーションから学ぶことで複雑なタスクを解決することに成功している。
本稿では,任意の環境下でのロボット性能について,より低バウンドなフレームワークを提案する。
実験では,シミュレーションとハードウェアの両方におけるビジュモータ操作のポリシーを評価する。
論文 参考訳（メタデータ） (2024-05-08T22:00:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。