論文の概要: SEAD: A State-Based Perspective on Attack and Defense in Tool-Using Agents

• arxiv url: http://arxiv.org/abs/2609.34518v1
• Date: Mon, 28 Sep 2026 07:55:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:47:40.316852
• Title: SEAD: A State-Based Perspective on Attack and Defense in Tool-Using Agents
• Title（参考訳）: SEAD: ツール使用エージェントの攻撃と防御に関する状態ベース視点
• Abstract要約: 攻撃と防御はSEADで部分的に観察される状態制御として定式化される。 攻撃者は具体的な行動を選択している間に指示を与えるため、DARTは有害な目標を局所的に妥当なステップに分解する。 制御された初期状態、再生可能なツール環境、タスク固有の実行可能チェックを統合した環境検証可能なデータセットを構築する。
• 参考スコア（独自算出の注目度）: 9.229257239702827
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Language-model agents increasingly use tools to act on external systems. Earlier actions can alter files, permissions, database records, or other state, making a later routine-looking action harmful. Yet the visible interaction may not reveal the underlying state needed to assess that action. We formulate attack and defense as partially observed state control in SEAD, deriving their design requirements from this shared execution process. Because attackers supply instructions while the target chooses concrete actions, DART decomposes harmful goals into locally plausible steps and uses feedback from actual tool execution to guide trajectory search. The defender must decide before execution with incomplete state evidence. SAGE can therefore investigate relevant state through read-only queries before allowing or blocking each action, including those proposed after a block. We construct an environment-verifiable dataset integrating controlled initial states, replayable tool environments, and task-specific executable checks. Across four target models, DART improves semantic attack success by 18.8--35.9 percentage points over the competing baseline, with consistent gains under executable verification. On recorded trajectories, SAGE preserves 95.79% of benign trajectories while intercepting 92.73% of harmful paths by the harm-enabling boundary. In online attack-defense evaluation, it reduces DART's executable attack success from 48.0% to 4.0%. SAGE remains effective across four attack methods and generalizes to out-of-domain environments. Our code and data is available at https://github.com/EverywhereSafety/SEAD.
• Abstract（参考訳）: 言語モデルエージェントは、外部システムで動くツールをますます使います。 以前のアクションはファイル、パーミッション、データベースレコード、その他の状態を変更することができ、後にルーチン的なアクションが有害になる。 しかし、目に見える相互作用は、その動作を評価するために必要な基礎状態を明らかにしないかもしれない。 この共有実行プロセスから,SEADの設計要件を導出し,攻撃と防御を部分的に状態制御として定式化する。 攻撃者は具体的行動を選択している間に指示を与えるため、DARTは有害な目標を局所的に妥当なステップに分解し、実際のツール実行からのフィードバックを使って軌道探索を誘導する。 被告は、不完全な州の証拠で処刑前に決定しなければならない。 従ってSAGEは、ブロック後に提案されたアクションを含む各アクションを許可またはブロックする前に、読み取り専用クエリを通じて関連する状態を調べることができる。 制御された初期状態、再生可能なツール環境、タスク固有の実行可能チェックを統合した環境検証可能なデータセットを構築する。 4つのターゲットモデル全体で、DARTはセマンティックアタックの成功を18.8-35.9ポイント改善し、実行可能検証では一貫した利得を得る。 記録された軌道上では、SAGEは95.79%の良性軌道を保存し、92.73%の有害経路をハーモナリング境界で遮断する。 オンライン攻撃防御評価では、DARTの実行可能な攻撃成功率は48.0%から4.0%に低下する。 SAGEは4つのアタックメソッドで有効であり、ドメイン外の環境に一般化する。 私たちのコードとデータはhttps://github.com/EverywhereSafety/SEAD.comで公開されています。

関連論文リスト

• ActGuard: Pre-execution Action Auditing against Indirect Prompt Injection in LLM Agents [11.495797074855703]
  本稿では,事前実行動作監査フレームワークであるActGuardを提案する。 外部コンテンツが本質的に疑わしいかどうかを判断する代わりに、ActGuardは現在のアクションが合理的な期待から逸脱するかどうかを評価する。 検証者はその後、局所化された証拠を調べ、マスクは悪意のあるものとのみ確認され、衛生化された文脈からアクションを再生する。
  論文  参考訳（メタデータ） (2026-09-14T03:47:05Z)
• Repeat-After-Me: Black-Box Adaptive Visual Prompt Injection [40.37588773528427]
  ブラックボックス適応型ビジュアルプロンプトインジェクション攻撃であるRepeat-After-Meを提案する。 本評価では, 1つのサロゲートに最適化された注射は, 2つの商業的犠牲者に対して, 元のASRの43～46%を保持した。 デフォルトのOpenClaw Discordデプロイメントでは、信頼できないユーザは、最小限の注入されたイメージを使用してTOOLS.mdを上書きすることができる。
  論文  参考訳（メタデータ） (2026-09-03T22:44:45Z)
• SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
  コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。 操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。 SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
  論文  参考訳（メタデータ） (2026-08-31T03:39:43Z)
• ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
  本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。 提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
  論文  参考訳（メタデータ） (2026-08-27T01:22:14Z)
• Self-State Attacks on Self-Hosted AI Agents: How Far Can OS Defenses Go? [28.618490710365887]
  自己ホスト型AIエージェントは、自身の国家の腐敗によって妥協される可能性がある。 本稿では,この種の攻撃に対するOSの弾力性について検討する。
  論文  参考訳（メタデータ） (2026-07-20T14:16:55Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• Aligning Provenance with Authorization: A Dual-Graph Defense for LLM Agents [11.867868278947524]
  LLMベースのエージェントは、Eメール管理、金融トランザクション、コード実行など、ハイテイクなシナリオにますますデプロイされている。 2つの相補グラフを構成するデュアルグラフアライメント・ディフェンス・フレームワークであるAuthGraphを提案する。 AgentDojoでは、AuthGraphが攻撃成功率を40%から1%に削減し、GPT-4oでは76%のタスク完了率を維持している。
  論文  参考訳（メタデータ） (2026-05-26T03:20:23Z)
• When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
  この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。 実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。 本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
  論文  参考訳（メタデータ） (2026-02-09T18:41:15Z)
• ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
  本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。 ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
  論文  参考訳（メタデータ） (2026-01-15T08:23:38Z)
• Cuckoo Attack: Stealthy and Persistent Attacks Against AI-IDE [64.47951172662745]
  Cuckoo Attackは、悪意のあるペイロードを構成ファイルに埋め込むことで、ステルス性と永続的なコマンド実行を実現する新しい攻撃である。 攻撃パラダイムを初期感染と持続性という2つの段階に分類する。 当社は、ベンダーが製品のセキュリティを評価するために、実行可能な7つのチェックポイントを提供しています。
  論文  参考訳（メタデータ） (2025-09-19T04:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。