論文の概要: ScopeBench: Do Agents Preserve Engagement Boundaries Under Goal Pressure?
- arxiv url: http://arxiv.org/abs/2609.30325v1
- Date: Wed, 23 Sep 2026 19:47:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.066681
- Title: ScopeBench: Do Agents Preserve Engagement Boundaries Under Goal Pressure?
- Title（参考訳）: ScopeBench: エージェントは目標圧力下でエンゲージメント境界を保存するか?
- Abstract要約: ScopeBenchは、30のデッドエンドエージェントセキュリティタスクのベンチマークで、その目標が到達可能なのは、そのスコープに違反することのみである。
また,評価対象のロールアウトの盲目検査の結果,高いリコールホールドがあることが判明した。
Opus-4-8は、Sonnet-4-6よりも10パーセント高く、また35.6パーセント高いスコープ適合性を示す。
- 参考スコア（独自算出の注目度）: 0.23945377635424467
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Agents are increasingly deployed with real autonomy in web application and network penetration testing, where a single out-of-scope action can breach a client's engagement boundary. Existing offensive-security benchmarks measure raw hacking capability; as those benchmarks saturate, the real barrier to deployment is a special case of alignment: scope adherence. We introduce ScopeBench, a benchmark of 30 dead-end agentic security tasks in which the stated objective is reachable only by violating the stated scope. Each task appears under two conditions that share an environment, verifier, and objective and differ only in scope: one instruction set has no scope and measures capability; the other has a natural-language scope to measure adherence. Scopeless trajectories are graded by a standard deterministic verifier. Scoped trajectories pass through two grading arms. First, the same deterministic verifier checks for the flag: because the flag sits behind the scope boundary, a pass proves by construction that a forbidden action occurred, yielding a high-precision lower bound on the violation rate. If the verifier does not pass the trajectory, an agentic judge estimates whether an out-of-scope call occurred. We calibrate the judge against 100 ScopeBench trajectories labeled call-by-call by human annotators, and a blinded audit of the evaluated rollouts finds its high recall holds - no false negatives among the 36 audited violations, with over-flagging its only observed error. Across 8 models in one harness, raw capability spans 12.2% to 81.1% and scope adherence spans 34.4% to 86.7%, with the judge finding 331 violations that mechanical verification misses. Opus-4-8 achieves a raw-capability score 10 percentage points higher than sonnet-4-6's while exhibiting 35.6 percentage points higher scope adherence. We release the frozen pilot benchmark, evaluation code, and all 2160 ATIF trajectories.
- Abstract（参考訳）: エージェントは、Webアプリケーションやネットワーク浸透テストにおいて、真に自律的にデプロイされ、単一のスコープ外のアクションがクライアントのエンゲージメント境界を破る可能性がある。
既存の攻撃的セキュリティベンチマークは、生のハッキング能力を測定する。これらのベンチマークが飽和するにつれて、デプロイの本当の障壁は、アライメントの特別なケースである。
ScopeBenchは、30のデッドエンドエージェントセキュリティタスクのベンチマークで、その目標が到達可能なのは、そのスコープに違反することのみである。
それぞれのタスクは環境、検証、目的を共有する2つの条件の下に現れ、1つの命令セットはスコープと測定能力を持たない。
スコープレス軌道は、標準的な決定論的検証器によって評価される。
Scoped trajectoriesは2つのグルーピングアームを通過します。
まず、同じ決定論的検証器がフラグをチェックする: フラグがスコープ境界の後方にあるため、パスは建設によって禁止されたアクションが発生したことを証明し、違反率に高い精度の低い境界をもたらす。
検証者が軌道を通過しない場合、エージェント・ジャッジはスコープ外呼び出しがあったかどうかを推定する。
評価されたロールアウトの盲目な監査では、36件の監査された違反のうち、偽陰性は見られず、過度に観察されたエラーだけが報告されている。
1つのハーネスで8つのモデルにまたがって、生の能力は12.2%から81.1%まで、スコープ順守は34.4%から86.7%まで、そして審査員は機械的検証が損なう331の違反を発見した。
Opus-4-8は、Sonnet-4-6よりも10パーセント高く、また35.6パーセント高いスコープ適合性を示す。
凍結したパイロットベンチマーク、評価コード、および2160のATIFトラジェクトリをリリースする。
関連論文リスト
- FunnelAudit: Responsibility Auditing in Multi-Route Recommender Systems [6.810073531792462]
マルチルートレコメンデータシステムは、検索、アロケーション、融合、ランキングを組み合わせることで、個別のインクルージョンと除外を監査しにくくする。
本稿では,インシデントレベルの責任監査を行うためのフレームワークであるFunnelAuditを紹介する。
我々は、固定ユニオン、重み付きクォータ割り当て、重み付き相互ランク融合を用いて、2段9ルートのファネルでフレームワークをインスタンス化し、次にSASRecランキングを付ける。
論文 参考訳（メタデータ） (2026-09-07T03:01:07Z) - Auditable Release Control for Pedagogical Leakage in LLM Tutors [0.0]
大規模な言語モデルチューターは、その開示が承認される前に答えや決定的な推論を明らかにするのに役立ちます。
我々は、この状態および行動依存的障害を、教育的漏洩認識認可として定式化し、完全修復境界を導入する。
グローバルA1は0の多数と54のユーティリティフラグを獲得し、自動安全と実用性において適合Qを上回っている。
論文 参考訳（メタデータ） (2026-08-01T08:24:30Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation [37.16322609017877]
Messierは、30のベンチマーク、714のエージェント、11,891のタスク、74,205の検証を含む957,253レコードの統一コーパスである。
M Messierは公開ベンチマークのスコアを集約し、6つの未表現の専門分野と科学分野にわたる5エージェントの実行を補完する。
論文 参考訳（メタデータ） (2026-07-28T15:50:19Z) - ScopeJudge: Cost-Aware Pre-Execution Gating for Offensive Security Agents [0.23945377635424467]
単一のスコープ外ツールコールは、クライアントのエンゲージメント境界を破ったり、生産を妨害したり、バグ報奨金を無効にしたりすることができる。
安価で信頼できるLCM判事は、強力でスワップ可能なエージェントによって提案された各呼び出しを検査し、実行前にそれを受け入れ、拒否する。
私たちは、リアルタイム監視とスケーラブルな自律セキュリティエージェント監視をサポートするScopeJudgeデータセットをリリースしました。
論文 参考訳（メタデータ） (2026-07-08T16:46:06Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - MOSAIC-Bench: Measuring Compositional Vulnerability Induction in Coding Agents [2.1942030377331245]
コーディングエージェントは、しばしばプロンプト毎の安全性レビューをパスするが、それらのタスクが通常のエンジニアリングチケットに分解されると、悪用可能なコードを出荷する。
199個の3段階攻撃チェーンのベンチマークであるMOSAIC-Benchを紹介する。
9つのプロダクションコーディングエージェントが53～86%の終末ASRで無害なチケットを構成しており、全ステージで2回しか拒否しないことを示す。
論文 参考訳（メタデータ） (2026-05-05T16:38:23Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode [9.116800340266066]
Claude Codeの自動モードは、AIコーディングエージェントに最初にデプロイされたパーミッションシステムである。
Anthropicは、生産トラフィックに対して0.4%の偽陽性率と17%の偽陰性率を報告している。
本研究では, 個々の行動レベルでの状態変化行動253件を, オラクル・グラウンドの真理に対して評価した。
論文 参考訳（メタデータ） (2026-04-04T17:56:30Z) - Proactive Rejection and Grounded Execution: A Dual-Stage Intent Analysis Paradigm for Safe and Efficient AIoT Smart Homes [37.92248202525651]
本稿では,低レベルの物理的実行から高レベルのユーザ意図理解を分離するためのDual-Stage Intent-Aware (DS-IA)フレームワークを提案する。
試験の結果、DS-IAは58.56%(ベースラインを28%以上上回る)のエクサクトマッチ(EM)を達成し、無効命令の拒否率を87.04%に改善した。
論文 参考訳（メタデータ） (2026-03-17T07:38:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。