論文の概要: Governing Execution Risk in Agentic AI Systems: A Trajectory-Guided Framework for Red Teaming

• arxiv url: http://arxiv.org/abs/2608.04018v1
• Date: Tue, 23 Jun 2026 15:14:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.146975
• Title: Governing Execution Risk in Agentic AI Systems: A Trajectory-Guided Framework for Red Teaming
• Title（参考訳）: エージェントAIシステムにおける実行リスクの回避--レッドチームのための軌道誘導型フレームワーク
• Abstract要約: 既存のレッドチームのアプローチは、主に固定されたアタックテンプレートや最終アタック結果に依存している。 我々は,脆弱性の発見に実行トラジェクトリを使用するトラジェクトリ誘導型レッドチームフレームワークであるTrajRedを提案する。 また、Red Teaming中に発見されたハイリスクなトラジェクトリを使用して、進行中のトラジェクトリを監視し、介入するランタイム層であるTrajGuardも開発しています。
• 参考スコア（独自算出の注目度）: 10.806133492616432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI agents are increasingly embedded in organizational workflows, where they interact with external information sources and invoke digital tools to perform operational tasks. As organizations adopt such systems, a critical challenge is identifying and mitigating risks arising from malicious or untrusted external information that can steer agents toward unintended actions. Existing red-teaming approaches largely rely on fixed attack templates or final attack outcomes, providing limited visibility into how attacks unfold through multi-step reasoning and tool use. We argue that agent execution risk should be understood as a trajectory-level phenomenon. Building on this perspective, we propose TrajRed, a trajectory-guided red-teaming framework that uses execution trajectories to uncover vulnerabilities in agentic AI systems. We further develop TrajGuard, a runtime governance layer that uses high-risk trajectories discovered during red teaming to monitor and intervene in ongoing workflows. Experiments on AgentDojo across four organizational task suites show that TrajRed identifies substantially stronger vulnerabilities than fixed-template and automatic red-team baselines. Building on these vulnerability findings, TrajGuard reduces attack success across all evaluated attack methods to near zero while preserving benign task utility. Together, the results demonstrate that execution trajectories provide a practical foundation for both red teaming and risk control in agentic AI systems. This work highlights the importance of governing agent execution in organizational AI deployments.
• Abstract（参考訳）: AIエージェントはますます組織ワークフローに組み込まれており、外部情報ソースと対話し、デジタルツールを実行して運用タスクを実行する。 組織がこのようなシステムを採用するとき、重要な課題は、意図しない行動に向けてエージェントを操ることができる悪意のあるまたは信頼できない外部情報から生じるリスクを特定し緩和することである。 既存のRed-teamingアプローチは、固定されたアタックテンプレートや最終アタック結果に大きく依存しており、マルチステップの推論とツール使用を通じて、アタックの展開方法の限定的な可視化を提供する。 エージェントの実行リスクは、軌道レベルの現象として理解されるべきである。 この観点から、エージェントAIシステムの脆弱性を明らかにするために、実行軌跡を使用する軌道誘導型レッドチームフレームワークであるTrajRedを提案する。 さらにTrajGuardは、レッドチームで発見されたハイリスクなトラジェクトリを使用して、進行中のワークフローを監視し、介入するランタイムガバナンス層です。 4つの組織的なタスクスイートを対象としたAgentDojoの実験は、TrajRedが固定タイムや自動赤チームベースラインよりもはるかに強力な脆弱性を識別していることを示している。 これらの脆弱性の発見に基づいて、TrajGuardは、良質なタスクユーティリティを保持しながら、評価されたすべての攻撃メソッドの攻撃成功をほぼゼロに削減する。 その結果、エージェントAIシステムにおいて、実行軌跡がレッドチームとリスクコントロールの両方に実用的な基盤を提供することを示した。 この作業は、組織AIデプロイメントにおけるエージェント実行の管理の重要性を強調している。

関連論文リスト

• Linguistic Firewall: Geometry as Defense in Multi-Agent Systems Routing [1.4033701678475552]
  評価駆動型ルーティングアーキテクチャであるANTAPを導入する。 ANTAPは、記述ベースのルータベースラインでは67.3%以上であるのに対して、記述ベースのインジェクション攻撃に対してほぼゼロのASRを実現している。
  論文  参考訳（メタデータ） (2026-06-29T16:51:06Z)
• DecodingTrust-Agent Platform (DTap): A Controllable and Interactive Red-Teaming Platform for AI Agents [121.77550256034]
  DecodingTrust-Agent Platform (DTap)は、AIエージェントのためのコントロール可能でインタラクティブなレッドチームプラットフォームである。 DTap-Redは、多様なインジェクションベクターを探索し、効果的な攻撃戦略を自律的に発見する、最初の自律的赤チームエージェントである。 DTapを通じて、さまざまなバックボーンモデル上に構築された一般的なAIエージェントの大規模評価を行う。
  論文  参考訳（メタデータ） (2026-05-06T11:59:48Z)
• Co-RedTeam: Orchestrated Security Discovery and Exploitation with LLM Agents [57.49020237126194]
  大規模言語モデル(LLM)はサイバーセキュリティタスクを支援することを約束しているが、既存のアプローチでは自動脆弱性発見とエクスプロイトに苦労している。 Co-RedTeamは,現実世界のレッドチームのミラーリングを目的とした,セキュリティを意識したマルチエージェントフレームワークである。 Co-RedTeamは、脆弱性分析をコーディネートされた発見およびエクスプロイトステージに分解し、エージェントがアクションを計画、実行、検証、洗練できるようにする。
  論文  参考訳（メタデータ） (2026-02-02T14:38:45Z)
• RedCodeAgent: Automatic Red-teaming Agent against Diverse Code Agents [70.24175620901538]
  コードエージェントは、強力なコード生成機能とコードインタプリタとの統合により、広く採用されている。 現在の静的安全性ベンチマークとレッドチームツールは、出現する現実世界のリスクシナリオを特定するのに不十分である。 我々はRedCodeAgentを提案する。RedCodeAgentは、多様なコードエージェントの脆弱性を体系的に発見するように設計された、最初の自動リピートエージェントである。
  論文  参考訳（メタデータ） (2025-10-02T22:59:06Z)
• Towards Unifying Quantitative Security Benchmarking for Multi Agent Systems [0.0]
  AIシステムの進化 自律エージェントが協力し、情報を共有し、プロトコルを開発することでタスクを委譲するマルチエージェントアーキテクチャをますます展開する。 そのようなリスクの1つはカスケードリスクである。あるエージェントの侵入はシステムを通してカスケードし、エージェント間の信頼を利用して他人を妥協させる。 ACI攻撃では、あるエージェントに悪意のあるインプットまたはツールエクスプロイトが注入され、そのアウトプットを信頼するエージェント間でカスケードの妥協とダウンストリーム効果が増幅される。
  論文  参考訳（メタデータ） (2025-07-23T13:51:28Z)
• CoP: Agentic Red-teaming for Large Language Models using Composition of Principles [68.73212422583548]
  本稿では,Large Language Models (LLM) のリピートプロセスを自動化するエージェントワークフローを提案する。 ヒューマンユーザは、AIエージェントへの指示として、効果的な赤チーム戦略を自動オーケストレーションし、ジェイルブレイクプロンプトを生成する、一連の赤チームの原則を提供する。 先進的なLLMに対して試験すると、CoPは新しいジェイルブレイクプロンプトを見つけ、最もよく知られているシングルターン攻撃の成功率を19.0倍に改善することで、前例のない安全リスクを明らかにしている。
  論文  参考訳（メタデータ） (2025-06-01T02:18:41Z)
• Securing Agentic AI: A Comprehensive Threat Model and Mitigation Framework for Generative AI Agents [0.0]
  本稿では,GenAIエージェントに特化した包括的脅威モデルを提案する。 研究は、9つの主要な脅威を特定し、5つの主要なドメインにまたがってそれらを整理する。
  論文  参考訳（メタデータ） (2025-04-28T16:29:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。