論文の概要: Yesterday's Shield, Today's Spear: A Self-Evolving Safety Guardrail in Production
- arxiv url: http://arxiv.org/abs/2608.08471v1
- Date: Sun, 09 Aug 2026 04:31:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.838909
- Title: Yesterday's Shield, Today's Spear: A Self-Evolving Safety Guardrail in Production
- Title（参考訳）: 昨日のシールド: 自走式安全ガードレール
- Abstract要約: 本報告では,SESG(Self-Evolving Safety Guardrails)を運用中のマルチエージェントシステムとして紹介する。
SESGは配置されたガードレールの背後にあるライブトラフィックを監視し、障害の2つのクラスをサーフェスする。
1.7Bガードレールは16時間から24時間で新たな脅威に適応し、約2時間の人的努力と、それに代わる40～90時間の手作業に適応する。
- 参考スコア（独自算出の注目度）: 46.70131379857202
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deployed LLM safety guardrails are predominantly static: trained once and frozen at release, while new jailbreak techniques and previously un-addressed harmful categories emerge within days, leaving the defense perpetually a step behind. We present SESG (Self-Evolving Safety Guardrails), a multi-agent system running in production. SESG monitors the live traffic behind a deployed guardrail and surfaces two classes of failure: jailbreaks novel in form and harmful categories novel in content. Once a failure is confirmed, a generation agent synthesizes paired training data targeted at it; a validation agent rebalances the batch toward the direction in which the deployed model errs, so that the model's own mistakes steer its training set; and a routing agent matches the training action to the diagnosed gap and returns the next version to production. Over six rounds of live evolution (V0 to V6), a 1.7B guardrail adapts to a new threat in 16-24 hours, with about 2 hours of human effort, versus the 40-90 hours of the manual process it replaces. On six emerging threats, it outperforms static guardrails from 0.6B to 9B and an adaptive baseline while preserving its general screening competence. Since April 2026, SESG has been the primary update pipeline of Sangfor's guardrail, autonomously closing 14 of 15 new threat scenarios in two months. We release 9 test sets for the 6 new threats at https://github.com/Trams1017/SESG. Warning: This paper contains examples that may be harmful or offensive.
- Abstract（参考訳）: 配備されたLLM安全ガードレールは、主に静的で、リリース時に一度訓練され凍結され、新しいジェイルブレイク技術と以前は適応していなかった有害なカテゴリが数日以内に出現し、防衛は永久に遅れる。
本報告では,SESG(Self-Evolving Safety Guardrails)を運用中のマルチエージェントシステムとして紹介する。
SESGは配置されたガードレールの背後にあるライブトラフィックを監視し、障害の2つのクラスをサーフェスする。
フェールが確認されると、生成エージェントは、その対象とするペア化されたトレーニングデータを合成し、バリデーションエージェントは、デプロイされたモデルアーラーの方向に向けてバッチを再バランスして、モデル自身のミスがそのトレーニングセットを操るようにし、ルーティングエージェントは、トレーニングアクションを診断されたギャップにマッチさせ、次のバージョンを本番に戻す。
6ラウンドのライブ進化(V0からV6)を経て、1.7Bガードレールは16-24時間で新たな脅威に適応し、約2時間の人的努力を伴い、手作業の40-90時間に取って代わる。
6つの脅威に対して、一般的なスクリーニング能力を維持しながら、0.6Bから9Bまでの静的ガードレールと適応ベースラインを上回ります。
2026年4月以降、SESGはSangforのガードレールの主要な更新パイプラインとなり、2ヶ月で15の新たな脅威シナリオのうち14を自律的に閉鎖した。
我々は、https://github.com/Trams1017/SESGで6つの新しい脅威に対する9つのテストセットをリリースします。
警告: 本論文は有害または攻撃的な例を含む。
関連論文リスト
- StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。
StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。
AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文 参考訳（メタデータ） (2026-08-25T16:17:27Z) - BraveGuard: From Open-World Threats to Safer Computer-Use Agents [68.38397514360227]
BraveGuardは、オープンワールドの脅威信号とリアルエージェントの軌道からモデルを訓練するための自己進化型防衛フレームワークである。
我々は、Qwen3-GuardやLlama-Guardなど複数のガードバックボーンをトレーニングしてBraveGuardをインスタンス化し、トラジェクトリレベルのエージェントセーフティベンチマークの結果のガードを評価する。
論文 参考訳（メタデータ） (2026-05-31T11:16:18Z) - Test-Time Training Undermines Safety Guardrails [53.00299679873018]
テスト時間トレーニング(TTT)は、モデルが推論中にパラメータを適応できるようにする新しいパラダイムである。
TTTの3つの脅威モデルを特定し、攻撃者が安全フィルタをバイパスする方法を実証する。
論文 参考訳（メタデータ） (2026-05-21T19:27:06Z) - Poster: ClawdGo: Endogenous Security Awareness Training for Autonomous AI Agents [14.881952206331968]
ClawdGoは内因性セキュリティ意識トレーニングのためのフレームワークである。
OpenClawのフェイスプロンプトインジェクション、メモリ中毒、サプライチェーン攻撃、ソーシャルエンジニアリングなどのプラットフォームにデプロイされるエージェント。
我々はエージェントに、モデル変更なしで、推論時に内部からの脅威を認識し、推論するように教える。
論文 参考訳（メタデータ） (2026-04-27T04:09:27Z) - The Persistent Vulnerability of Aligned AI Systems [2.9994384641583185]
この論文は、AI安全性の4つのオープンな問題に寄与している。
危険な内部計算の理解、一度埋め込まれた危険な振る舞いの削除、デプロイ前の脆弱性のテスト、モデルがデプロイに対していつ行動するかの予測。
論文 参考訳（メタデータ） (2026-03-31T23:49:07Z) - AdaptiveGuard: Towards Adaptive Runtime Safety for LLM-Powered Software [11.606665113249298]
ガードレールは、LLM(Large Language Models)ベースのソフトウェアを安全にデプロイするために重要である。
本稿では,新しい脱獄攻撃をアウト・オブ・ディストリビューション(OOD)入力として検出する適応ガードレールであるAdaptiveGuardを提案する。
我々は、AdaptiveGuardがOOD検出精度96%を達成し、2回の更新ステップで新たな攻撃に適応し、85%以上のF1スコアを分散後のデータに保持していることを示す。
論文 参考訳（メタデータ） (2025-09-21T01:22:42Z) - Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [64.47869632167284]
従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。
このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。
我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
論文 参考訳（メタデータ） (2025-06-09T06:35:12Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - Self-Guard: Empower the LLM to Safeguard Itself [33.2186340694417]
ジェイルブレイク攻撃には2つの主要なアプローチがある。
本稿では,両安全性手法の強みを組み合わせた,セルフガードと呼ばれる新しいアプローチを提案する。
この実験は、セルフガードがジェイルブレイク攻撃に対して堅牢であることを示した。
論文 参考訳（メタデータ） (2023-10-24T14:08:26Z) - Jailbroken: How Does LLM Safety Training Fail? [92.8748773632051]
ChatGPTの初期リリースに対する"jailbreak"攻撃は、望ましくない振る舞いを引き起こす。
このような攻撃がなぜ成功し、どのように発生できるかを考察する。
障害モードを利用した新たな攻撃は、安全でない要求の収集において、すべてのプロンプトで成功します。
論文 参考訳（メタデータ） (2023-07-05T17:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。