論文の概要: Building a Foundational Guardrail for General Agentic Systems via Synthetic Data

• arxiv url: http://arxiv.org/abs/2510.09781v1
• Date: Fri, 10 Oct 2025 18:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.621925
• Title: Building a Foundational Guardrail for General Agentic Systems via Synthetic Data
• Title（参考訳）: 合成データを用いた汎用エージェントシステムのための基礎ガードレールの構築
• Authors: Yue Huang, Hang Hua, Yujun Zhou, Pengcheng Jing, Manish Nagireddy, Inkit Padhi, Greta Dolcetti, Zhangchen Xu, Subhajit Chaudhury, Ambrish Rawat, Liubov Nedoshivina, Pin-Yu Chen, Prasanna Sattigeri, Xiangliang Zhang,
• Abstract要約: LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
• 参考スコア（独自算出の注目度）: 76.18834864749606
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While LLM agents can plan multi-step tasks, intervening at the planning stage-before any action is executed-is often the safest way to prevent harm, since certain risks can lead to severe consequences once carried out. However, existing guardrails mostly operate post-execution, which is difficult to scale and leaves little room for controllable supervision at the plan level. To address this challenge, we highlight three critical gaps in current research: data gap, model gap, and evaluation gap. To close the data gap, we introduce AuraGen, a controllable engine that (i) synthesizes benign trajectories, (ii) injects category-labeled risks with calibrated difficulty, and (iii) filters outputs via an automated reward model, producing large and reliable corpora for pre-execution safety. To close the guardian model gap, we propose a foundational guardrail Safiron, combining a cross-planner adapter with a compact guardian model. The adapter unifies different input formats, while Safiron flags risky cases, assigns risk types, and generates rationales; trained in two stages with a broadly explored data recipe, Safiron achieves robust transfer across settings. To close the evaluation gap, we release Pre-Exec Bench, a realistic benchmark covering diverse tools and branching trajectories, which measures detection, fine-grained categorization, explanation, and cross-planner generalization in human-verified scenarios. Extensive experiments demonstrate consistent gains of the proposed guardrail over strong baselines on Pre-Exec Bench, and ablations further distill actionable practices, providing a practical template for safer agentic systems.
• Abstract（参考訳）: LLMエージェントは、多段階的なタスクを計画できるが、計画段階で介入することは、何らかのアクションが実行される前に行われる。 しかし、既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 この課題に対処するために、データギャップ、モデルギャップ、評価ギャップという、現在の研究における3つの重要なギャップを強調します。 データギャップを埋めるために、制御可能なエンジンであるAuraGenを紹介します。 (i)良性軌道を合成する。 二 カテゴリーラベル付リスクを校正困難に注入し、 三 自動報酬モデルにより出力をフィルタリングし、大規模で信頼性の高いコーパスを前処理の安全のために生成する。 保護者モデルのギャップを埋めるために,クロスプランナーアダプタとコンパクトな保護者モデルを組み合わせた基本ガードレールサフィロンを提案する。 アダプタは異なる入力形式を統一するが、Safironはリスクのあるケースをフラグ付け、リスクタイプを割り当て、合理性を生成する。 評価のギャップを埋めるため、我々はPre-Exec Benchをリリースした。これは多種多様なツールと分岐軌跡をカバーするリアルなベンチマークであり、人間の検証シナリオにおける検出、きめ細かい分類、説明、クロスプランナーの一般化を測定する。 大規模な実験では、プレエク・ベンチの強いベースラインよりもガードレールが一貫した利得を示し、さらに実用的なプラクティスを蒸留し、より安全なエージェントシステムのための実用的なテンプレートを提供する。

関連論文リスト

• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• Embedding Poisoning: Bypassing Safety Alignment via Embedding Semantic Shift [23.0914017433021]
  この研究は、モデルウェイトや入力テキストを変更することなく、埋め込み層出力に直接知覚不能な摂動を注入することで脆弱性を利用する、新しいデプロイメントフェーズ攻撃のクラスを特定する。 本稿では,リスクトークンに関連付けられた埋め込みに注意深く最適化された摂動を導入する,実用的なモデルに依存しないフレームワークである検索ベースの埋め込みポジショニングを提案する。
  論文  参考訳（メタデータ） (2025-09-08T05:00:58Z)
• Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling [74.41886258801209]
  本稿では,行動学習から原理的アライメントを分離する2段階の軌道計画フレームワークを提案する。 Plan-R1は計画の安全性と実現可能性を大幅に改善し、最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-05-23T09:22:19Z)
• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Enhancing AI Safety Through the Fusion of Low Rank Adapters [7.384556630042846]
  低ランク適応核融合は、悪意のあるプロンプトに直面した場合に有害な応答を緩和する。 タスクアダプタと安全アダプタとのLoRA融合を利用して, 有害度率を42%低減した。 また、モデルが安全でないものに近い安全なプロンプトを拒否する、誇張された安全行動も観察する。
  論文  参考訳（メタデータ） (2024-12-30T13:12:27Z)
• What Makes and Breaks Safety Fine-tuning? A Mechanistic Study [64.9691741899956]
  安全性の微調整は、大規模な言語モデル(LLM)を、安全なデプロイメントのための人間の好みに合わせるのに役立つ。 安全でない入力の健全な側面をキャプチャする合成データ生成フレームワークを設計する。 これを用いて,3つのよく知られた安全微調整手法について検討する。
  論文  参考訳（メタデータ） (2024-07-14T16:12:57Z)
• BadGD: A unified data-centric framework to identify gradient descent vulnerabilities [10.996626204702189]
  BadGDは、敵の操作を理解し緩和するための新しい標準を設定している。 この研究は、このようなデータ中心の攻撃によって引き起こされる深刻な脅威を強調し、機械学習における堅牢な防御の必要性を強調している。
  論文  参考訳（メタデータ） (2024-05-24T23:39:45Z)
• Safe MDP Planning by Learning Temporal Patterns of Undesirable Trajectories and Averting Negative Side Effects [27.41101006357176]
  安全なMDP計画では、現在の状態と行動に基づくコスト関数が安全面を特定するためにしばしば使用される。 不完全なモデルに基づく操作は、しばしば意図しない負の副作用(NSE)を生じさせる
  論文  参考訳（メタデータ） (2023-04-06T14:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。