論文の概要: StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing

• arxiv url: http://arxiv.org/abs/2608.24777v1
• Date: Tue, 25 Aug 2026 16:17:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.093936
• Title: StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing
• Title（参考訳）: StepGuard: スケーラブルなスーパービジョンと安全性とユーザビリティのバランスによるステップレベルガードレールの学習
• Abstract要約: StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。 StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。 AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
• 参考スコア（独自算出の注目度）: 80.39644823192113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based agents can interact with external environments through tool invocation, but this capability also introduces security risks such as file modification, information leakage, and unauthorized actions. Existing guardrails often evaluate completed trajectories, leaving pre-execution monitoring of step-level actions underexplored. We propose StepGuard, a step-level guard model that can audit completed agent trajectories and check tool actions before they are executed. To train StepGuard, we introduce StepGen, an automatic data engine that generates safe and unsafe trajectories with the same context but different actions at the risky step. To further reduce over-defense and under-defense, we propose Balance-GRPO, which dynamically balances learning between safe and unsafe actions based on their observed accuracy. Experiments show that StepGuard achieves the highest average accuracy among open-weight guard models, with performance comparable to GPT-5.4. When used to guard agents on AgentDojo and AgentDyn, StepGuard reduces mean attack success rate by 77.3% relative to the no-guard setting, while mean utility drops by only 2.8 percentage points.
• Abstract（参考訳）: LLMベースのエージェントはツール呼び出しを通じて外部環境と対話できるが、この機能はファイル修正や情報漏洩、不正なアクションといったセキュリティリスクも導入する。 既存のガードレールは、しばしば完成した軌道の評価を行い、探索されたステップレベルの行動の事前実行監視を残した。 StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。 StepGuardをトレーニングするために、同じコンテキストで安全で安全でないトラジェクトリを生成するが、リスクのあるステップでは異なるアクションを生成する自動データエンジンであるStepGenを紹介します。 オーバー・ディフェンスとアンダー・ディフェンスを更に削減するために、観察された精度に基づいて安全性と安全でない動作の学習を動的にバランスさせるバランス-GRPOを提案する。 実験によると、StepGuardはGPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成している。 AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率をno-guard設定と比較して77.3%削減し、平均ユーティリティは2.8ポイント減少する。

関連論文リスト

• BraveGuard: From Open-World Threats to Safer Computer-Use Agents [68.38397514360227]
  BraveGuardは、オープンワールドの脅威信号とリアルエージェントの軌道からモデルを訓練するための自己進化型防衛フレームワークである。 我々は、Qwen3-GuardやLlama-Guardなど複数のガードバックボーンをトレーニングしてBraveGuardをインスタンス化し、トラジェクトリレベルのエージェントセーフティベンチマークの結果のガードを評価する。
  論文  参考訳（メタデータ） (2026-05-31T11:16:18Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• PlanGuard: Defending Agents against Indirect Prompt Injection via Planning-based Consistency Verification [1.7904458681854372]
  PlanGuardは、コンテキスト分離の原則に基づいた、トレーニング不要の防御フレームワークである。 PlanGuardは攻撃を効果的に中和し、アタック成功率(ASR)を72.8%から0%に下げる。
  論文  参考訳（メタデータ） (2026-04-11T09:59:46Z)
• ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
  エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。 LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。 次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
  論文  参考訳（メタデータ） (2026-01-15T07:54:32Z)
• AdaptiveGuard: Towards Adaptive Runtime Safety for LLM-Powered Software [11.606665113249298]
  ガードレールは、LLM(Large Language Models)ベースのソフトウェアを安全にデプロイするために重要である。 本稿では,新しい脱獄攻撃をアウト・オブ・ディストリビューション(OOD)入力として検出する適応ガードレールであるAdaptiveGuardを提案する。 我々は、AdaptiveGuardがOOD検出精度96%を達成し、2回の更新ステップで新たな攻撃に適応し、85%以上のF1スコアを分散後のデータに保持していることを示す。
  論文  参考訳（メタデータ） (2025-09-21T01:22:42Z)
• Pro2Guard: Proactive Runtime Enforcement of LLM Agent Safety via Probabilistic Model Checking [8.970702398918924]
  大規模言語モデル(LLM)エージェントは、ロボット工学、仮想アシスタント、Webオートメーションといった分野にまたがる強力な自律能力を示す。 AgentSpecのような既存のルールベースの執行システムは、リアクティブな安全ルールの開発に重点を置いている。 本稿では,確率的到達可能性解析に基づくプロアクティブ実行時実行フレームワークPro2Guardを提案する。
  論文  参考訳（メタデータ） (2025-08-01T10:24:47Z)
• WebGuard: Building a Generalizable Guardrail for Web Agents [59.31116061613742]
  WebGuardは、Webエージェントアクションリスクの評価をサポートするために設計された最初のデータセットである。 その中には、22のドメインにわたる193のWebサイトからの4,939の人手によるアノテートアクションが含まれている。
  論文  参考訳（メタデータ） (2025-07-18T18:06:27Z)
• WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs [54.10865585773691]
  LLM安全性のためのオープンで軽量なモデレーションツールであるWildGuardを紹介します。 WildGuardは、ユーザプロンプトにおける悪意のある意図の特定、モデルレスポンスの安全性リスクの検出、モデル拒絶率の決定という3つの目標を達成する。
  論文  参考訳（メタデータ） (2024-06-26T16:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。