Fugu-MT 論文翻訳(概要): Self-Evolving Defense: Continual Security Policy Learning for LLM Agents

論文の概要: Self-Evolving Defense: Continual Security Policy Learning for LLM Agents

arxiv url: http://arxiv.org/abs/2609.36603v1
Date: Tue, 29 Sep 2026 03:19:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:47.148215
Title: Self-Evolving Defense: Continual Security Policy Learning for LLM Agents
Title（参考訳）: 自衛隊: LLMエージェントの継続的な安全保障政策学習
Abstract要約: 大きな言語モデル(LLM)は、機密情報にアクセスし、外部ツールを使用し、ソフトウェアリポジトリを変更するエージェントをますますパワーにする。本研究では,有害物質トラジェクトリを再利用可能なセキュリティポリシに蒸留する,訓練不要のフレームワークである自己進化防衛(SED)を提案する。 SEDは攻撃シナリオ全体の知識を維持しながら、新たな攻撃に継続的に適応する。
参考スコア（独自算出の注目度）: 25.568411092174273
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) increasingly power agents that access sensitive information, use external tools, and modify software repositories. Although these capabilities offer substantial benefits, they also create security risks such as jailbreaks, prompt injection, and vulnerable code generation. Existing defenses often require retraining, fail to adapt to evolving attacks, or address only a single threat pattern. To address these limitations, we propose Self-Evolving Defense (SED), a training-free framework that distills harmful agent trajectories into reusable security policies without updating model weights. By retrieving relevant policies for future tasks, SED continually adapts to new attacks while retaining knowledge across attack scenarios. To evaluate the effectiveness of SED, we test it with three open-source models (DeepSeek V4 Flash, GLM 5.2, and Kimi K3) on eight benchmarks that span jailbreaks, prompt injection, and insecure code generation. SED lowers targeted prompt-injection success on AGENTDOJO to 0.42%, compared with 3.7% for the best baseline defense, and holds adaptive X-TEAMING attack success on HARMBENCH to 7.8%, more than four times lower than the best baseline at 35.2%, while preserving benign task utility.
Abstract（参考訳）: 大きな言語モデル(LLM)は、機密情報にアクセスし、外部ツールを使用し、ソフトウェアリポジトリを変更するエージェントをますますパワーにする。これらの機能は大きなメリットを提供するが、Jailbreakやプロンプトインジェクション、脆弱性のあるコード生成といったセキュリティリスクも生み出す。既存の防御は、しばしば再訓練、進化する攻撃への適応の失敗、または単一の脅威パターンにのみ対処する必要がある。これらの制約に対処するため、モデル重みを更新することなく有害物質軌道を再利用可能なセキュリティポリシーに蒸留する訓練不要のフレームワークであるセルフ進化防衛(SED)を提案する。将来のタスクに関するポリシーを検索することで、SEDは攻撃シナリオの知識を維持しながら、新たな攻撃に継続的に適応する。 SEDの有効性を評価するため、3つのオープンソースモデル(DeepSeek V4 Flash, GLM 5.2, Kimi K3)で、ジェイルブレイク、インジェクションのインジェクション、安全性の低いコード生成にまたがる8つのベンチマークをテストした。 SEDはAgentDOJOのプロンプトインジェクション成功率を0.42%に下げ、最高のベースラインディフェンスでは3.7%、HARMBENCHのアダプティブX-TEAMING攻撃成功率を7.8%に下げる。

関連論文リスト

StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing [80.39644823192113]
StepGuardは、完了したエージェントの軌跡を監査し、実行前にツールアクションをチェックするステップレベルのガードモデルである。 StepGuardは、GPT-5.4に匹敵するパフォーマンスで、オープンウェイトガードモデルの中で最高の平均精度を達成した。 AgentDojoとAgentDynのエージェントを保護するために使用される場合、StepGuardは平均攻撃成功率を77.3%削減する。
論文参考訳（メタデータ） (2026-08-25T16:17:27Z)
Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies [62.65225104423404]
自己進化エージェントシステムは、敵の影響力が永久に符号化される、質的に新しい脅威の風景を導入します。モジュール・ライフサイクル・アタック・サーフェス・マトリックスを中心に組織化されたセキュリティとプライバシの分析を行った。その結果, 自己進化は, 既知のすべての攻撃カテゴリをセッションバウンドからラインパーシスタントに変換することがわかった。
論文参考訳（メタデータ） (2026-06-22T09:23:50Z)
Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment [25.752599132396437]
間接的なプロンプトインジェクションは、エージェントがタスク実行中に検索するサードパーティデータに悪意のある命令を埋め込むことによって、LLMベースのエージェントをハイジャックする。既存のディフェンスでは、静的なベンチマークでほぼゼロの攻撃成功率を報告しているが、最近のアダプティブ評価では、攻撃者がデプロイされたディフェンスに対して最適化を許せば、これらの結果は崩壊する。本稿では,攻撃者が制御するデータではなく,ユーザタスクに対する防衛判断を基礎としたトレーニングベースのRETAを提案する。
論文参考訳（メタデータ） (2026-06-13T19:15:44Z)
Context-Based Adversarial Attacks on AI Code Generators: Vulnerability Analysis and Implications [0.0]
本研究は,文脈に基づく敵攻撃の系統的研究である。コメント、ドキュメンテーション、変数名、大規模な言語モデルなど、戦略的に構築されたコンテキストインプット。我々の二重層防御フレームワークは、89.1%の検出率、0.3%の偽陽性、520msのレイテンシを実現している。
論文参考訳（メタデータ） (2026-06-09T14:51:59Z)
Your Agent, Their Asset: A Real-World Safety Analysis of OpenClaw [87.97230960702274]
本稿では,OpenClawの安全性評価について紹介する。エージェントの永続状態を3次元に統一するCIK分類法を導入する。評価では、ライブOpenClawインスタンス上の12のアタックシナリオをカバーしています。
論文参考訳（メタデータ） (2026-04-06T15:27:05Z)
SecPI: Secure Code Generation with Reasoning Models via Security Reasoning Internalization [50.71047638695205]
RLM(Reasoning Language Model)は、プログラミングにおいてますます使われている言語モデルである。しかし、最先端のRLMでさえ、生成されたコードに重大なセキュリティ脆弱性を頻繁に導入する。我々は、構造化されたセキュリティ推論を内部化するためのRTMを教える微調整パイプラインであるSecPIを提案する。
論文参考訳（メタデータ） (2026-04-04T04:29:11Z)
Securing AI Agents Against Prompt Injection Attacks [0.0]
本稿では,RAG対応AIエージェントのインジェクションリスク評価のためのベンチマークを提案する。本フレームワークは,攻撃速度を73.2%から8.7%に削減し,94.3%のベースラインタスク性能を維持した。
論文参考訳（メタデータ） (2025-11-19T10:00:54Z)
Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents [4.303444472156151]
大規模言語モデル(LLM)対応エージェントは、広範囲のアプリケーションで急速に出現している。本研究は,LSM対応エージェントにおけるTOCTOU(time-of-use)脆弱性に関する最初の研究である。我々は,このタイプの脆弱性を評価するために設計された,66の現実的なユーザタスクを備えたベンチマークTOCTOU-Benchを紹介する。
論文参考訳（メタデータ） (2025-08-23T22:41:49Z)
Meta SecAlign: A Secure Foundation LLM Against Prompt Injection Attacks [15.266469377135978]
モデルレベルのディフェンスを内蔵した,初の完全オープンソースLCMであるMeta SecAlignを開発した。我々は、9つのユーティリティベンチマークと7つのセキュリティベンチマークにおいて、一般的な知識、命令フォロー、エージェントに関する最も包括的な評価を行う。私たちの最高のモデルであるMeta-SecAlign-70Bは、オープンソースのLCMのためのユーティリティセキュリティトレードオフの新たなフロンティアを確立します。
論文参考訳（メタデータ） (2025-07-03T15:47:13Z)
AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文参考訳（メタデータ） (2025-04-29T17:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。