論文の概要: Shortcut Sensitivity in Agent-Safety Evaluations
- arxiv url: http://arxiv.org/abs/2610.22243v1
- Date: Thu, 15 Oct 2026 17:18:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.221694
- Title: Shortcut Sensitivity in Agent-Safety Evaluations
- Title（参考訳）: エージェントセーフティ評価におけるショートカット感度
- Abstract要約: 我々は3段階のショートカット監査フレームワークを導入し、完了したLinuxArenaトラジェクトリを監査する。
我々は,ラベル予測可能性,観察的ガード関係,およびペア決定感度を区別した。
LinuxArenaでは、より短い平均的なシェルコマンドは軌道ラベルを強く予測する。
- 参考スコア（独自算出の注目度）: 1.343550579486352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI agents take actions through tools. Some actions are sensitive, so guards that supervise them must themselves be evaluated reliably. Yet the data used to evaluate a guard can include cues that make labels predictable without measuring the intended safety construct, and those cues can also influence guard decisions. We introduce a three-level shortcut-auditing framework and audit completed LinuxArena trajectories and two TS-Bench-derived step datasets. We distinguish label predictability, observational guard association, and paired decision sensitivity. In LinuxArena, shorter average shell commands strongly predict trajectory labels. In AgentDojo-Traj, exact-tool lookup falls from F_1=.901 with mixed-domain folds to .495 under domain holdout. In AgentHarm-Traj, released TS-Guard F_1 falls from .902 under row weighting to .719 with equal interaction weighting, while balanced accuracy rises. We then test the strongest safe-row marker association in a seven-configuration screen on a frozen 64-step AgentDojo-Traj cohort using repeated, interleaved Haiku calls. Rewriting the <INFORMATION> marker lowers blocking by 8.33 percentage points, while opaque tool aliases raise it by 11.46 points. All unsafe calls remain blocked; the changes concern false positives against inherited labels. Both effects remain nonzero after subtracting the formatting-placebo effect, with exploratory 95% ranges excluding zero. The same edits also change measured accuracy against inherited labels. This provides direct evidence that benchmark representation can materially change a guard's decisions and measured evaluation performance. The Haiku-sized effects do not reproduce in Luna or deterministic Q8 TS-Guard. We recommend domain group holdouts, evaluation-unit metrics, and placebo-controlled paired interventions.
- Abstract（参考訳）: AIエージェントはツールを通じてアクションを行う。
いくつかの行動は敏感であるため、監視する衛兵は自らを確実に評価しなければならない。
しかし、ガードを評価するために使われるデータには、ラベルを意図した安全構造を計測せずに予測可能なキューが含まれており、これらのキューはガードの決定にも影響を及ぼす可能性がある。
我々は3段階のショートカット監査フレームワークを導入し、完了したLinuxArenaトラジェクトリとTS-Bench由来のステップデータセットを2つ監査する。
我々は,ラベル予測可能性,観察的ガード関係,およびペア決定感度を区別した。
LinuxArenaでは、より短い平均的なシェルコマンドは軌道ラベルを強く予測する。
AgentDojo-Trajでは、ドメインが混在するF_1=.901からドメインが保持されている.495まで、正確にツールのルックアップが行われる。
AgentHarm-Traj では、放出されたTS-Guard F_1 は行重みで .902 から .719 に低下する。
次に,凍結した64ステップのAgentDojo-Trajコホート上で,繰り返し,インターリーブされたHaikuコールを使用して,7つの設定画面で最強のセーフローマーカーアソシエーションをテストする。
InFORMATION>マーカーを書き換えるとブロッキングが8.33ポイント低下し、不透明なツールエイリアスでは11.46ポイント上昇する。
変更は、継承されたラベルに対する偽陽性を懸念する。
どちらの効果も、ゼロを除く95%の範囲で、フォーマッティング・プラセボ効果を減らした後は、ゼロではないままである。
同じ編集は、継承されたラベルに対して測定された精度も変更する。
これは、ベンチマーク表現がガードの判断と測定された評価性能を実質的に変更できるという直接的な証拠を提供する。
俳句サイズの効果はルナや決定論的Q8 TS-Guardでは再現されない。
ドメイングループのホールドアウト、評価単位のメトリクス、プラセボが制御するペアによる介入を推奨します。
関連論文リスト
- When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark [7.717546214164674]
エージェント評価ハーネスは、テストスイートを実行し、入力を生成し、テストオラクルで結果を決定するソフトウェアシステムである。
本稿では、テーブルが明らかにできない信頼性欠陥に対して、そのようなソフトウェアを監査する。
論文 参考訳（メタデータ） (2026-10-12T02:11:43Z) - Evaluating Bounded Autonomy in Regulated Agentic AI: A Diagnostic Harness with Constitutional Rewards, Escalation Labels, and Runtime Governance [0.0]
RegLLMは、規制されたエージェントの信頼性における境界自律性のための診断ハーネスである。
引用妥当性、ソースグラウンド、スキーマコンプライアンス、エスカレーションの正確性、コンスティチューションアライメント、アンセーフアクションレートの6つのシグナルを計測する。
論文 参考訳（メタデータ） (2026-09-28T11:08:38Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳（メタデータ） (2026-08-11T16:01:15Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - ContainmentBench: Trace-Based Evaluation of Post-Injection Containment in Tool-Using LLM Agents [4.018837636907658]
我々は、ベンチマーク定義のエンドポイントポリシーコンプライアンスを測定するサンドボックスベースのトレースベースのベンチマークを導入する。
集計されたスレッドのランキングは、エビデンスステージの構成と分母の選択によって変化する。
これらの結果から, 終端政策ラベルは, 被曝後の封じ込めに十分な統計量ではないことが示唆された。
論文 参考訳（メタデータ） (2026-07-27T04:51:20Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳（メタデータ） (2025-11-26T01:28:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。