論文の概要: When Safety Becomes an Attack Surface: Manipulating Abstention in Tool-Using AI Agents
- arxiv url: http://arxiv.org/abs/2611.14864v1
- Date: Wed, 11 Nov 2026 00:36:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.971214
- Title: When Safety Becomes an Attack Surface: Manipulating Abstention in Tool-Using AI Agents
- Title(参考訳): 安全が攻撃面になるとき:ツールを使うAIエージェントの注意を操る
- Abstract要約: 低信頼コンテンツに敵が偽造した危険警告を配置し、正当なタスク完了を防止するためのアベイラビリティアタックである警告誘発過剰回避について検討する。
私たちの中心的な前提は、安全な棄権には、主張されるリスクとそれを支持する証拠の権限の両方を評価する必要があります。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An AI agent's decision not to act can itself become an attack surface. We study warning-induced over-abstention, an availability attack in which adversaries place fabricated risk warnings in low-trust content to prevent legitimate task completion. Our central premise is that safe abstention requires evaluating both the claimed risk and the authority of the evidence supporting it. We develop controlled counterfactual task variants that vary risk content, source provenance, and warning wording, and evaluate a Verify-Before-Abstain protocol that corroborates warnings against authoritative records or the underlying content. Across three model families and 51 injectable AgentAbstain task pairs, caution-first prompting amplifies the attack. For Gemini, induced over-abstention rises from $9.8\%$ to $86.3\%$, despite unchanged clean-task completion. Matched wording comparisons further reveal sensitivity to warning language, with substantial variation across models and environments. Provenance-aware verification improves legitimate completion, while forgery and sensitive-content controls expose its dependence on authoritative evidence and its limitations in preserving confidentiality. These results motivate evaluating agent safety through the justification for restraint, alongside the safety of actions taken.
- Abstract(参考訳): AIエージェントの行動しない決定は、それ自体が攻撃面になる可能性がある。
低信頼コンテンツに敵が偽造した危険警告を配置し、正当なタスク完了を防止するためのアベイラビリティアタックである警告誘発過剰回避について検討する。
私たちの中心的な前提は、安全な棄権には、主張されるリスクとそれを支持する証拠の権限の両方を評価する必要があります。
我々は,リスク内容,出典出典,警告文の異なる制御された対実的タスクの変種を開発し,信頼的記録やその基盤となる内容に対する警告を裏付ける検証・前・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後)。
3つのモデルファミリと51のインジェクタAbstainタスクペアで、警告ファーストプロンプトが攻撃を増幅する。
ジェミニでは、クリーンタスクの完了は変わらないものの、9.8\%から8.6.3\%に上昇した。
一致した単語比較により、警告言語に対する感度がさらに明らかになり、モデルや環境によってかなりの違いがある。
Provenance-awareの検証は、正当性を向上する一方、偽造や機密性の高い制御は、権威的な証拠への依存と機密性を維持するための限界を露呈する。
これらの結果は、行動の安全性とともに、抑制の正当化を通じてエージェントの安全性を評価する動機付けとなる。
関連論文リスト
- Voluntary Servitude: Weaponized Safety Warning Mechanisms for Controlling AI Agents [6.3697514621669455]
攻撃者はエージェント自身の危害回避を通じてエージェントを操ることができることを示す。
通常のレビューとして書かれた単一の偽造されたハザードは、エージェントに正当な選択肢を無効にし、攻撃者のターゲットを自身の推論で選択させる。
エージェントの指示に付加された腐食条件は、適応的でない攻撃者に対する被曝の約95%を再訓練せずに除去することを示す。
論文 参考訳(メタデータ) (2026-11-03T06:26:58Z) - SentryBench: A Cost-Sensitive Benchmark for Adversarial Robustness of Tool-Using LLM Agents in Public-Safety Deployments [0.0]
送信に慎重すぎるエージェントは、誤った警告をトリガーするエージェントと同じくらい確実に失敗する。
SentryBench では,攻撃成功,過剰拒絶(真の緊急事態を欠く),過剰反応(不当な行為)の両面からエージェントを評価する。
非対称なコスト関数としてデプロイメントハーネスを定式化し、回避するアタック障害よりも真の緊急事態を拒否した場合に、ナイーブな注意が害に支配されることを証明し、ターゲットの信頼ゲートがクリーン入力に過剰な拒絶を付加することを証明する。
論文 参考訳(メタデータ) (2026-10-25T19:49:40Z) - CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents [58.28055202832338]
言語モデルエージェントは日々のデジタル雑用を自動化するためにますますデプロイされている。
この機能は、フィッシングに機密情報を公開する。
CredLeak-Benchは、ヒューマンタスクの効果的かつセキュアなエージェントの自動化を評価するために設計されたベンチマークである。
論文 参考訳(メタデータ) (2026-10-06T05:07:33Z) - Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。
具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。
我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
論文 参考訳(メタデータ) (2026-05-27T09:25:37Z) - AgentSecBench: Measuring Prompt Injection, Privacy Leakage, and Tool-Use Integrity in LLM Agents [0.2864713389096699]
本稿では,AgentSecBenchを,この問題に対する正式なセキュリティフレームワークの実証的なインスタンス化として紹介する。
3つのゲーム・インストラクション・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)を定めている。
これは、承認された観察と能力に対するプロジェクションとしてのアプリケーションポリシーを表し、プロジェクションの即時アノテーションとプロジェクションの強化を区別し、敵のアドバンテージと、防衛が生成前に関連するモデル可視チャネルを閉鎖するかどうかを計測する。
論文 参考訳(メタデータ) (2026-05-25T18:53:22Z) - ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents [2.585367539248893]
我々は,標準実行から明確化検索状態への遷移が,インジェクション攻撃に対するエージェントの感受性を高めるかどうかを検討する。
728のタスクアタックシナリオのベンチマークであるASPIを導入し、明確なエージェント状態として明確化を分離する。
明確化の探究は一貫して、脆弱性を大幅に増幅する。
論文 参考訳(メタデータ) (2026-05-17T08:30:45Z) - ARGUS: Defending LLM Agents Against Context-Aware Prompt Injection [28.414099578635373]
AgentLureは、コンテキスト依存タスクとコンテキスト認識インジェクション攻撃をキャプチャするベンチマークである。
この制限に対処するため,我々は,LDMエージェントの事前判定監査を実施する防衛機構であるARGUSを提案する。
論文 参考訳(メタデータ) (2026-05-05T05:37:00Z) - CausalArmor: Efficient Indirect Prompt Injection Guardrails via Causal Attribution [49.689452243966315]
ツールコール機能を備えたAIエージェントは、IPI(Indirect Prompt Injection)攻撃の影響を受けやすい。
本稿では,選択防衛フレームワークCausalArmorを提案する。
AgentDojoとDoomArenaの実験は、CausalArmorが攻撃的な防御のセキュリティと一致することを示した。
論文 参考訳(メタデータ) (2026-02-08T11:34:08Z) - How Brittle is Agent Safety? Rethinking Agent Risk under Intent Concealment and Task Complexity [55.441602598245744]
LLM駆動エージェントの現在の安全性評価は、主に原子害に焦点を当てており、悪意のある意図が複雑なタスクで隠されたり希釈されたりする高度な脅威に対処できなかった。
このギャップを,意図隠蔽とタスク複雑性の圧力下でのエージェントの安全性の脆さを二次元的に解析することで解決する。
目的が明確になるにつれて、安全アライメントは急激かつ予測的に低下し、「複雑パラドックス」が出現する。
論文 参考訳(メタデータ) (2025-11-11T17:27:27Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳(メタデータ) (2025-10-03T12:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。