論文の概要: StepSafe: Learning Timely Intervention with Context-Aware Safety Reasoning
- arxiv url: http://arxiv.org/abs/2610.20960v1
- Date: Wed, 14 Oct 2026 21:32:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.080262
- Title: StepSafe: Learning Timely Intervention with Context-Aware Safety Reasoning
- Title（参考訳）: StepSafe: コンテキスト認識型安全推論によるタイムリーな介入の学習
- Abstract要約: Methodlong(ASPO)はステップレベルのタイムリーな介入のためのトレーニングフレームワークである。
タイムリーな介入を伴うステップレベルの推論ガードレールである textscStepSafe を提示する。
- 参考スコア（独自算出の注目度）: 53.94447352970449
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety in agentic systems is inherently sequential: whether an action is safe depends on prior actions, tool outputs, information disclosures, and interactions among agents. Recent work has shifted agent safety guardrails from post-hoc trajectory-level assessment toward step-level action diagnosis and proactive risk prediction, yet existing training objectives provide limited supervision for how step evidence accumulates over time and when it becomes sufficient to justify intervention. We propose \methodlong~(ASPO): a training framework for step-level timely intervention. Pre-fix level stage alignment allows crediting each decision at its own step: it compares each response with the other responses sampled at the same prefix and rewards the action that fits the stage, continuing before the risk is visible, asking while clarification can still avert harm, and stopping before harm is irreversible. Adaptive feedback self-distillation further credits the reasoning behind each decision, with the model itself as a teacher that sees the step annotations on intervention steps and rules mined from its own false alarms on safe steps. Its training data carry a violation taxonomy and an intervention window at every step and are extended through self-evolving multi-agent red-teaming. Finally we present \textsc{StepSafe}, a step-level reasoning guardrail with timely intervention, that achieves the state-of-the-art peformance among open-source guardrails across five agent-safety benchmarks on safety-utility pareto curve with Youden's $J$ of 53.0 (4B) against 46.2.
- Abstract（参考訳）: エージェントシステムの安全性は本質的にシーケンシャルである: アクションが安全かどうかは、前のアクション、ツール出力、情報開示、エージェント間の相互作用に依存する。
最近の研究は、エージェントの安全ガードレールをポストホックレベルの評価からステップレベルの行動診断と積極的なリスク予測に移行しているが、既存の訓練目標では、ステップエビデンスがどのように蓄積するか、介入を正当化するのに十分なタイミングで限定的な監督を行っている。
ステップレベルのタイムリーな介入のためのトレーニングフレームワークである‘methodlong~(ASPO)’を提案する。
プレフィックスレベルステージアライメント(Pre-fix level stage alignment)は、それぞれの決定を自身のステップで信用することができる: 各レスポンスを同じプレフィックスでサンプリングされた他のレスポンスと比較し、ステージに適合するアクションを報酬し、リスクが見える前に継続する。
適応的なフィードバック 自己蒸留は、モデル自体が介入ステップのステップアノテーションと、安全ステップの誤ったアラームから抽出されたルールを見ている教師として、各決定の背後にある理由を更に信用する。
そのトレーニングデータは、すべてのステップで違反分類と介入ウィンドウを持ち、自己進化するマルチエージェントのレッドチームを通じて拡張される。
最後に、タイムリーな介入を伴うステップレベルの推論ガードレールである‘textsc{StepSafe} を、Youden の 46.2 に対して 53.0 (4B) の$J$で、安全ユーティリティパート曲線上の5つのエージェントセーフティベンチマークで、オープンソースガードレール間の最先端のパフォーマンスを達成する。
関連論文リスト
- Benchmarking Jailbreak Guardrails for Embodied Agents [16.337733905951872]
大規模言語モデルと視覚言語モデルを利用したエンボディードエージェントは、ますます物理的な環境に展開されている。
ジェイルブレイク攻撃は 物理的に有害な行動を起こすために エージェントを誘導する
既存の安全ベンチマークは、実施したモデル自体を評価する。
本報告では, 組込剤の脱獄ガードレールのシステム評価について述べる。
論文 参考訳（メタデータ） (2026-10-05T10:56:18Z) - PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety [25.530091490347715]
Decoupled Proactive Safety Monitoringは、介入するかどうか、いつ介入するか、リスクは何かという3つの側面に沿って形式化します。
PASTABenchは5つのリスクカテゴリと13のサブカテゴリにまたがる1,139のマルチターントラジェクトリのベンチマークである。
我々は、干渉タイムラインを定量化するために、アノテートされたEariest-Signal と Trigger のターンで固定された Optimal Intervention Window (OIW) を提案する。
論文 参考訳（メタデータ） (2026-09-23T14:34:45Z) - Self-Evolving Just-In-Time Memory for Proactive Embodied Safety [13.342067741014455]
既存の安全アプローチは、安全でないアクションをブロックしたり、過度に注意を喚起するために、ランタイムガードレールに依存しています。
我々は,プログレッシブ・スタンリング・ガードレールからアクティブ・ハザード対策まで,安全を具体化した自己進化型Just-In-Time Memoryフレームワークを紹介した。
論文 参考訳（メタデータ） (2026-06-26T14:26:24Z) - From Risk Classification to Action Plan Remediation: A Guardrail Feedback Driven Framework for LLM Agents [35.39244077703096]
ガードレールは通常、実行前に提案されたアクションや入力を評価することでエージェントを保護する。
既存のガードレールは、しばしばタスク全体を安全でないものとして一様にフラグを立て、脅威を阻止するが、良心的な部分を犠牲にする。
本稿では,ガードレール生成した言語フィードバックを誘導信号として活用し,エージェントを良質な目的に合わせるためのガードレール統合エージェントフレームワークTRIADを紹介する。
論文 参考訳（メタデータ） (2026-06-04T07:34:35Z) - VLESA: Vision-Language Embodied Safety Agent for Human Activity Monitoring [60.53395558502203]
Vision-Language Embodied Safety Agent (VLESA)は、自我中心のビデオから人間の活動を監視する。
VLESAは、コンテキストに応じて同一のアクションが安全または危険である意図に依存した安全性に対処する。
目標を共同で推測し,映像から将来の行動を予測するための意図-行動予測エージェントを提案する。
論文 参考訳（メタデータ） (2026-06-02T17:42:17Z) - Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning [2.9184958249079975]
既存の防衛は、限られた保護を提供するか、安全と実用性の間のトレードオフを強制する。
安全リスクに応じて正規化を適応するトレーニングフレームワークを導入する。
前世代の活性化から有害な意図信号が予測可能であることを実証的に検証する。
論文 参考訳（メタデータ） (2026-02-19T16:59:54Z) - ToolSafe: Enhancing Tool Invocation Safety of LLM-based agents via Proactive Step-level Guardrail and Feedback [53.2744585868162]
エージェントのデプロイには、ステップレベルのツールの実行動作をリアルタイムで監視することが不可欠だ。
LLMエージェントにおけるステップレベルツール起動安全検出のための新しいベンチマークであるTS-Benchを構築した。
次に,マルチタスク強化学習を用いたガードレールモデルTS-Guardを開発した。
論文 参考訳（メタデータ） (2026-01-15T07:54:32Z) - When Should We Introduce Safety Interventions During Pretraining? [100.3502954292386]
先行研究は、有害な内容の表現などの事前訓練の介入が、結果のモデルの安全性を大幅に向上させることを示した。
介入の導入は一般的に、過度な拒絶率の増加を伴わない、より堅牢なモデルをもたらす。
また、より安全な世代に向けたモデルのステアビリティにも明らかなメリットがあると考えています。
論文 参考訳（メタデータ） (2026-01-11T22:38:17Z) - RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。
しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。
提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
論文 参考訳（メタデータ） (2025-12-24T15:01:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。