論文の概要: AgentGuard: Learning Execution Guardrails from Anomalous Coding-Agent Trajectories
- arxiv url: http://arxiv.org/abs/2609.16287v1
- Date: Mon, 14 Sep 2026 19:42:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.215705
- Title: AgentGuard: Learning Execution Guardrails from Anomalous Coding-Agent Trajectories
- Title（参考訳）: AgentGuard: Anomalous Coding-Agent Trajectoriesから実行ガードレールを学ぶ
- Abstract要約: 本稿では,コーディングエージェントの異常な軌跡から条件付き実行制約を学習する,命令レベルのガードレールフレームワークであるAgentGuardを提案する。
AgentGuardは、繰り返し実行される障害パターンを自動的に抽出し、それらを命令レベルの動作制約に一般化し、軽量なガードレールスキルとして整理する。
AgentGuardは、異常実行率を69.0%から26.7%に下げ、正常タスク完了率を21.7%から35.0%に引き上げている。
- 参考スコア（独自算出の注目度）: 7.433745310331784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI coding agents increasingly rely on execution harnesses to interact with repositories and external tools. However, task success does not guarantee reliable execution. Agents may still modify unrelated files, rewrite tests, issue unsafe commands, or ignore failed validations, motivating behavioral guardrails for reliable execution. We present AgentGuard, an instruction-level guardrail framework that learns conditional execution constraints from anomalous trajectories of coding agents. Rather than relying on manually specified safety rules, AgentGuard automatically extracts recurring execution failure patterns, generalizes them into instruction-level behavioral constraints, and organizes them as a lightweight guardrail skill that dynamically activates only the rules relevant to the current instruction. This design enables behavioral guidance while minimizing unnecessary restrictions on normal execution. We evaluate AgentGuard using 642 documented failure traces collected from real coding-agent executions across 382 repository tasks. Guardrails are learned from 461 traces covering 282 tasks and evaluated on a disjoint set of 100 tasks. Using Claude Code with Claude Haiku 4.5 as the underlying coding agent, we compare the baseline agent with the same agent augmented by AgentGuard. Experimental results show that AgentGuard reduces the Abnormal Execution Rate from 69.0% to 26.7% and increases the Successful Task Completion Rate from 21.7% to 35.0%. These results demonstrate that execution guardrails learned from historical failures can substantially improve the reliability of AI coding agents while highlighting the remaining challenge of balancing safety and task completion.
- Abstract（参考訳）: AIコーディングエージェントは、リポジトリや外部ツールと対話するための実行ハーネスにますます依存している。
しかし、タスク成功は信頼できる実行を保証するものではない。
エージェントは、関連のないファイルを修正したり、テストを書き直したり、安全でないコマンドを発行したり、失敗したバリデーションを無視したり、信頼できる実行のための行動ガードレールを動機付けたりする。
本稿では,コーディングエージェントの異常な軌跡から条件付き実行制約を学習する,命令レベルのガードレールフレームワークであるAgentGuardを提案する。
手動で指定された安全ルールに頼るのではなく、AgentGuardは繰り返し実行される障害パターンを自動的に抽出し、それらを命令レベルの動作制約に一般化し、現在の命令に関連するルールのみを動的に活性化する軽量ガードレールスキルとして組織化する。
この設計は、通常の実行における不要な制限を最小限にしつつ、行動指導を可能にする。
我々は、642のドキュメント化された障害トレースを使用して382のリポジトリタスクにわたる実際のコーディングエージェント実行から収集したAgenGuardを評価する。
ガードレールは、282タスクをカバーする461のトレースから学習され、100タスクの非結合セットに基づいて評価される。
Claude Code と Claude Haiku 4.5 を基礎となるコーディングエージェントとして使用し、ベースラインエージェントと AgentGuard で強化された同じエージェントを比較した。
実験の結果、エージェントガードは異常実行率を69.0%から26.7%に減らし、正常タスク完了率を21.7%から35.0%に引き上げた。
これらの結果は、過去の障害から学んだ実行ガードレールが、安全とタスク完了のバランスをとるための残りの課題を強調しながら、AIコーディングエージェントの信頼性を大幅に向上することを示した。
関連論文リスト
- AgentAudit: An Open, Extensible Framework for Full-Lifecycle Trust Evaluation of AI Agents [2.8000808592516293]
AgentAuditは10の能力、グラウンド、セキュリティ、振る舞いの次元にわたって、実行トレース全体を評価する。
記録された実行トレースのみを読み出し、エージェントの実行方法に干渉しない。
我々は,9つの言語モデル(OpenAI GPT-5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)を,9つの能力と対向タスクで評価した。
論文 参考訳（メタデータ） (2026-09-09T08:29:16Z) - StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。
StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。
AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文 参考訳（メタデータ） (2026-08-25T16:17:27Z) - BraveGuard: From Open-World Threats to Safer Computer-Use Agents [68.38397514360227]
BraveGuardは、オープンワールドの脅威信号とリアルエージェントの軌道からモデルを訓練するための自己進化型防衛フレームワークである。
我々は、Qwen3-GuardやLlama-Guardなど複数のガードバックボーンをトレーニングしてBraveGuardをインスタンス化し、トラジェクトリレベルのエージェントセーフティベンチマークの結果のガードを評価する。
論文 参考訳（メタデータ） (2026-05-31T11:16:18Z) - AgentTrap: Measuring Runtime Trust Failures in Third-Party Agent Skills [32.24433022603674]
サードパーティのスキルがLLMエージェントのパッケージエコシステムになりつつある。
悪質なスキルは、明らかに有害なアクションを実行するためにモデルを尋ねる必要はありません。
代わりに、ルーチンワークフローの一部として有害な振る舞いを偽装することができる。
本稿では,LLMエージェントが悪意のある実行動作に抵抗しながら,サードパーティのスキルを活用できるかどうかを評価するベンチマークであるAgentTrapを紹介する。
論文 参考訳（メタデータ） (2026-05-13T17:04:17Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use [2.9991161518367875]
AgentTrustは実行前にエージェントツールコールをインターセプトし、構造化されたバリデーションを返す。
6つのリスクカテゴリにまたがる300-scenarioベンチマークと、630が独立して構築された現実世界の敵シナリオです。
パッチされたルールセットで評価された630秒のベンチマークでは、AgentTrustは96.7%の精度を達成している。
論文 参考訳（メタデータ） (2026-05-06T11:38:16Z) - SkillJect: Automating Stealthy Skill-Based Prompt Injection for Coding Agents with Trace-Driven Closed-Loop Refinement [120.52289344734415]
エージェントスキルに適したステルスプロンプトインジェクションのための自動フレームワークを提案する。
フレームワークは、明示的なステルス制約の下でインジェクションスキルを合成するアタックエージェント、インジェクションされたスキルを使用してタスクを実行するコードエージェント、アクショントレースをログする評価エージェントの3つのエージェントでクローズドループを形成する。
本手法は,現実的な環境下で高い攻撃成功率を達成する。
論文 参考訳（メタデータ） (2026-02-15T16:09:48Z) - PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents [60.23552141928126]
PSG-AgentはLLMベースのエージェントのためのパーソナライズされた動的システムである。
まずPSG-Agentは、安定した特性のために相互作用履歴をマイニングすることでパーソナライズされたガードレールを作成する。
第二に、PSG-Agentは特別なガードでエージェントパイプラインを横断する継続的監視を実装している。
論文 参考訳（メタデータ） (2025-09-28T03:31:59Z) - GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。
特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。
GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
論文 参考訳（メタデータ） (2024-06-13T14:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。