論文の概要: SentryBench: A Cost-Sensitive Benchmark for Adversarial Robustness of Tool-Using LLM Agents in Public-Safety Deployments

• arxiv url: http://arxiv.org/abs/2610.34535v1
• Date: Sun, 25 Oct 2026 19:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.631244
• Title: SentryBench: A Cost-Sensitive Benchmark for Adversarial Robustness of Tool-Using LLM Agents in Public-Safety Deployments
• Title（参考訳）: SentryBench: 公安デプロイにおけるツール使用 LLM エージェントの逆ロバスト性に対するコスト感受性ベンチマーク
• Abstract要約: 送信に慎重すぎるエージェントは、誤った警告をトリガーするエージェントと同じくらい確実に失敗する。 SentryBench では,攻撃成功,過剰拒絶(真の緊急事態を欠く),過剰反応(不当な行為)の両面からエージェントを評価する。 非対称なコスト関数としてデプロイメントハーネスを定式化し、回避するアタック障害よりも真の緊急事態を拒否した場合に、ナイーブな注意が害に支配されることを証明し、ターゲットの信頼ゲートがクリーン入力に過剰な拒絶を付加することを証明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language model (LLM) agents are increasingly wired to consequential tools that send public alerts, dispatch responders, and query citizen records, where one erroneous tool call carries real-world cost. Existing agent-safety benchmarks measure generic harm or prompt-injection success and implicitly treat refusing as the safe default. In public-safety deployments that assumption breaks: an agent too cautious to dispatch help fails as surely as one that triggers a false alert. We present SentryBench, which scores agents on a two-sided, cost-sensitive frontier jointly measuring attack success, over-refusal (missing a real emergency), and over-reaction (unwarranted action) under adversarial tool use, with scenarios grounded in real emergency-call transcripts, disaster messages, and real injection/jailbreak payloads. We formalize deployment harm as an asymmetric cost functional, prove naive caution is harm-dominated whenever it refuses more genuine emergencies than the attack harm it averts, and prove a targeted trust gate adds zero over-refusal on clean input. Across 840 scored episodes over three frontier models and three defenses, refuse-more caution drives over-refusal to 100 percent on two of three models for at most a 3.7-point change in attack success and yields the worst harm everywhere, whereas our trust-gating wrapper dominates the frontier (lowest harm on every model, over-refusal at or below baseline, higher containment). Provider content filters also silently perform part of the defending and must be reported separately.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、公衆の警告を送ったり、応答者をディスパッチしたり、市民記録を問い合わせたりする一連のツールに結びついている。 既存のエージェントセーフティベンチマークは、ジェネリック障害やプロンプトインジェクションの成功を測定し、refusingをセーフデフォルトとして暗黙的に扱います。 送信に慎重すぎるエージェントは、誤った警告をトリガーするエージェントと同じくらい確実に失敗する。 SentryBenchは、攻撃成功、オーバーリフレクション(実際の緊急を欠く)、オーバーリアクション(不当な行為)の両面からエージェントをスコアリングし、実際の緊急呼び出し書き起こし、災害メッセージ、実際のインジェクション/ジェイルブレイクペイロードを根拠としたシナリオを提示する。 非対称なコスト関数としてデプロイメントハーネスを定式化し、回避するアタック障害よりも真の緊急事態を拒否した場合に、ナイーブな注意が害に支配されることを証明し、ターゲットの信頼ゲートがクリーンな入力に対して過度に拒絶されることを証明した。 840回以上は3つのフロンティアモデルと3つのディフェンスでエピソードを記録、さらに注意は3つのモデルのうち少なくとも3.7ポイントの攻撃成功率の変化で100パーセントのオーバーリファールを駆動し、至る所で最悪の被害をもたらす。 プロバイダコンテンツフィルタは、防御の一部も静かに実行し、別々に報告しなければなりません。

関連論文リスト

• Defending Against Dormant Poisoning Attacks Across Language and Multimodal Agents [59.55887106370872]
  我々は,(1)良性微調整によって活性化される有害な行動は,無害な行動にまで拡張しうること,(2)複数の有害な行動は共存し,良性微調整によって共同的に活性化されること,の2つの薬剤的リスクを示す。 我々は、休眠中毒の重要な性質を悪用する:攻撃者は、毒を隠蔽するために解放時に安全な行動を維持する必要があり、この行動は安全基準として機能する。 LookAhead Defenseは、Safety Bufferを使って微調整されたアップデートをプレビューし、有害な入力に対する安全な振る舞いを弱めたり、Safety Bufferの良質なバージョンを拒否する可能性を高めるために予測されるアップデートのみを罰する。
  論文  参考訳（メタデータ） (2026-10-17T02:26:09Z)
• PROACT-Agent: Progressive Runtime Oversight and Active Circuit-breaking for Real-Time Safety [15.95756753197665]
  PROACT-Agentはリアルタイムガードレールを実現するために高忠実度軌道を合成するためのフレームワークである。 ProACT-Benchは155,780の状態をマルチモデルでラベル付けしたバイリンガル安全ベンチマークである。 AgentDojoでは、非DoSターゲット攻撃の成功を20.82%から0.40%に削減する。
  論文  参考訳（メタデータ） (2026-09-28T06:30:49Z)
• Silent Failures in Agentic Security Evaluation: A Validated Harness for Tool-Call Mediation Under Indirect Prompt Injection [0.0]
  特権ツールを起動するLLMエージェントは間接的プロンプトインジェクション(IPI)に脆弱である 4つの欠陥クラス - サイレントペイロードの非配信、引数ではなくツールアイデンティティによるアタック成功、モデル非能力と混同された偽リジェクション率、監査証跡の欠如 - を識別する。 我々は、欠陥と修正された定義の下で同じ実行トレースを再描画することで、歪みを定量化する。
  論文  参考訳（メタデータ） (2026-09-26T14:53:42Z)
• Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
  敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。 具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。 我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-27T09:25:37Z)
• The Autonomy Tax: Defense Training Breaks LLM Agents [5.990318568221089]
  安全を改善するために設計された防衛訓練は、高度な攻撃を防ぐのに失敗しながら、エージェントの能力を体系的に破壊する。 我々は,97件のエージェントタスクと1,000件の敵のプロンプトにまたがる無防備なベースラインに対する防御モデルの評価を行った。 その結果,現在の防衛パラダイムは,マルチステップエージェントを基本的に信頼できないようにレンダリングしながら,シングルターンリフェールベンチマークに最適化されていることがわかった。
  論文  参考訳（メタデータ） (2026-03-19T19:33:17Z)
• CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
  ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。 本稿では,選択防衛フレームワークCausalArmorを提案する。 AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
  論文  参考訳（メタデータ） (2026-02-08T11:34:08Z)
• Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
  自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。 敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
  論文  参考訳（メタデータ） (2025-10-03T12:47:21Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。