論文の概要: From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents

• arxiv url: http://arxiv.org/abs/2606.05805v1
• Date: Thu, 04 Jun 2026 07:34:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.625571
• Title: From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents
• Title（参考訳）: リスク分類から行動計画修復へ:LLMエージェントのためのガードレールフィードバック駆動フレームワーク
• Authors: Yuhao Sun, Jiacheng Zhang, Shaanan Cohney, Zhexin Zhang, Feng Liu, Xingliang Yuan,
• Abstract要約: ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。 既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。 本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
• 参考スコア（独自算出の注目度）: 35.39244077703096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based guardrails typically safeguard agents by evaluating proposed actions or inputs before execution, producing safety signals such as binary allow/deny decisions, risk categories, and/or explanatory rationales about potential policy violations. However, agent risks often arise when otherwise benign tasks are contaminated by untrusted external content, unsafe instructions, or risky tool use. Existing guardrails often flag the entire task uniformly as unsafe, thereby blocking the threat but sacrificing the benign part. Moreover, existing work largely evaluates guardrails in isolation, leaving unclear whether their interventions lead to safer downstream agent behavior. To address this, we introduce TRIAD (Tripartite Response for Iterative Agent Guardrailing), a guardrail-integrated agent framework that leverages guardrail-generated verbal feedback as a guiding signal to keep the agent aligned with benign objectives at each planning step. We finetune a language model on a self-curated training dataset to output one of three decisions: proceed, refuse, or update, together with structured natural-language feedback. Rather than merely allowing or blocking execution, update guides the agent to revise its plan, avoid harmful components, and preserve the benign task where possible. TRIAD injects this feedback into the agent's context, enabling subsequent plan revision and forming a closed loop between guardrail feedback and agent planning. Extensive experiments on ASB and AgentHarm show that TRIAD reduces the average attack success rate to 10.42%, while achieving the best safety-utility trade-off among guardrail-integrated baselines. Our code is available at: https://github.com/YUHAOSUNABC/TRIAD.
• Abstract（参考訳）: LLMベースのガードレールは一般的に、実行前に提案された行動や入力を評価し、二項許容/拒否決定、リスクカテゴリ、および/または潜在的ポリシー違反に関する説明的根拠のような安全信号を生成することで保護エージェントを保護している。 しかし、不確実なタスクが信頼できない外部コンテンツ、安全でない命令、危険なツールの使用によって汚染される場合、エージェントのリスクがしばしば発生する。 既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。 さらに、既存の作業はガードレールを独立して評価し、その介入が下流のエージェントの動作をより安全にするかどうかがはっきりしないままである。 これを解決するために,ガードレール生成音声フィードバックを利用したガードレール統合エージェントフレームワークであるTRIAD(Tripartite Response for Iterative Agent Guardrailing)を導入する。 自己計算したトレーニングデータセットに言語モデルを微調整し、構造化された自然言語フィードバックとともに、進行、拒否、更新の3つの決定のうちの1つを出力します。 単に実行を許可またはブロックする代わりに、更新はエージェントが計画を変更し、有害なコンポーネントを避け、可能な限り良質なタスクを保存するようにガイドする。 TRIADはこのフィードバックをエージェントのコンテキストに注入し、その後の計画修正を可能にし、ガードレールのフィードバックとエージェントの計画の間に閉じたループを形成する。 ASBとエージェントハームの大規模な実験により、TRIADは平均攻撃成功率を10.42%に下げ、ガードレール統合ベースラインの中で最高の安全・実用トレードオフを達成した。 私たちのコードは、https://github.com/YUHAOSUNABC/TRIAD.comで利用可能です。

関連論文リスト

• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
  CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。 実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
  論文  参考訳（メタデータ） (2026-03-15T13:09:43Z)
• AgentDoG: A Diagnostic Guardrail Framework for AI Agent Safety and Security [126.49733412191416]
  現在のガードレールモデルは、リスク診断におけるエージェント的リスク認識と透明性を欠いている。 エージェントリスクをソース(場所)、障害モード(方法)、結果(何)で分類する統合された3次元分類法を提案する。 AgentDoG(AgentDoG)のための,エージェント安全性ベンチマーク(ATBench)と診断ガードレールフレームワークを新たに導入する。
  論文  参考訳（メタデータ） (2026-01-26T13:45:41Z)
• ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
  エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。 LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。 次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
  論文  参考訳（メタデータ） (2026-01-15T07:54:32Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。