論文の概要: Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense

• arxiv url: http://arxiv.org/abs/2606.05743v1
• Date: Thu, 04 Jun 2026 06:14:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.587404
• Title: Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense
• Title（参考訳）: 膜: LLMエージェント防衛のための自己進化型コントラスト安全メモリ
• Authors: Minseok Choi, Seungbin Yang, Dongjin Kim, Subin Kim, Jungmin Son, Yunseung Lee, Jaegul Choo, Youngjun Kwak,
• Abstract要約: コントラスト安全メモリ上に構築された自己進化型ガードレールである膜を提案する。 膜は、それぞれの有害な相互作用とその良性な相互作用を対照的な細胞に蒸留することでCSMを進化させる。 膜は6回のジェイルブレイク攻撃で最も高いF1を達成する。
• 参考スコア（独自算出の注目度）: 46.1492099225296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite advances in safety alignment, large language models remain vulnerable to continuously evolving jailbreaks. Existing fine-tuned safety classifiers cannot adapt to these evolving attacks, while adaptive memory-based guardrails tend to over-refuse benign queries that resemble stored attacks. We propose Membrane, a self-evolving guardrail built on Contrastive Safety Memory (CSM): each cell pairs the conditions for blocking a harmful query with those for permitting a superficially similar benign request. Without retraining, Membrane evolves CSM by distilling each harmful interaction and its benign counterpart into a contrastive cell indexed by the underlying attack strategy, so that one cell generalizes across topical variants of the same mechanism. At inference, retrieved cells serve as grounding context for precise safety decisions. Across model-level safety on HarmBench and agent-level safety on AgentHarm, Membrane achieves the highest F1 on all six jailbreak attacks. Notably, benign refusal on AgentHarm stays at 7-14%, well below the 28-85% range of prior guards. Memory cells also retain 87-88% F1 under cross-attack transfer and remain stable under memory poisoning.
• Abstract（参考訳）: 安全アライメントの進歩にもかかわらず、大きな言語モデルは継続的に進化するジェイルブレイクに対して脆弱なままである。 既存の微調整された安全分類器は、これらの進化する攻撃に適応できないが、適応型メモリベースのガードレールは、ストアドアタックに似た良質なクエリを過剰に排除する傾向がある。 コントラスト安全メモリ(CSM)上に構築された自己進化型ガードレールである膜について,各セルが有害なクエリをブロックする条件と,表面的に類似した良性要求を許容する条件をペアリングする。 リトレーニングなしでは、膜はそれぞれの有害な相互作用とその良性な相互作用を、基礎となる攻撃戦略によってインデックス付けされた対照的な細胞に蒸留することでCSMを進化させ、一つの細胞が同じ機構の局所的な変異を一般化する。 推測では、回収された細胞は正確な安全性決定のための接地コンテキストとして機能する。 HarmBenchのモデルレベルの安全性とAgentHarmのエージェントレベルの安全性に加えて、Mememeは6件のジェイルブレイク攻撃で最高F1を達成した。 特に、エージェントハームの良心的な拒絶は7-14%であり、前衛の28-85%を大きく下回っている。 メモリセルはまた、クロスアタック転送では87-88% F1を維持し、メモリ中毒では安定している。

関連論文リスト

• Model-Agnostic Lifelong LLM Safety via Externalized Attack-Defense Co-Evolution [43.00984815993804]
  EvoSafetyは、永続的で検査可能で再利用可能な外部構造を中心に構築された安全フレームワークである。 レッドチームでは、EvoSafetyは攻撃ポリシーに敵のスキルライブラリを装備し、継続的な脆弱性調査を可能にする。 防衛学習のために、EvoSafetyは、モデル固有の安全性の微調整を、メモリ検索を付加した軽量な補助防衛モデルに置き換える。
  論文  参考訳（メタデータ） (2026-05-13T12:07:05Z)
• MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
  永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。 汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。 MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-04-17T07:29:52Z)
• TRYLOCK: Defense-in-Depth Against LLM Jailbreaks via Layered Preference and Representation Engineering [0.0]
  提案するTRYLOCKは,推論スタックをまたいだ4つのメカニズムを組み合わせた,最初のディフェンス・イン・ディースアーキテクチャである。 Mistral-7B-Instructが249プロンプト攻撃セットに対して評価された場合、TRYLOCKは88.0%の相対的なASR減少を達成する。
  論文  参考訳（メタデータ） (2026-01-06T03:02:20Z)
• RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
  視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。 しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。 提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
  論文  参考訳（メタデータ） (2025-12-24T15:01:26Z)
• GSAE: Graph-Regularized Sparse Autoencoders for Robust LLM Safety Steering [5.124731939041066]
  大規模言語モデル(LLM)は、敵のプロンプトやジェイルブレイク攻撃を通じて有害なコンテンツを生成するように操作できるため、重要な安全上の課題に直面している。 グラフ正規化スパースオートエンコーダ (GSAE) を導入し, ニューロン共活性化グラフ上にラプラシアンスムーズネスペナルティを持つSAEを拡張した。 GSAEは, 効果的な安全ステアリング, 特徴を重み付けした安全関連方向に組み立て, 2段階のゲーティング機構で制御できることを実証した。
  論文  参考訳（メタデータ） (2025-12-07T04:46:30Z)
• Immunity memory-based jailbreak detection: multi-agent adaptive guard for large language models [12.772312329709868]
  大規模言語モデル(LLM)はAIシステムの基盤となっているが、敵のジェイルブレイク攻撃に弱いままである。 ジェイルブレイク検出のためのマルチエージェント適応ガード(MAAG)フレームワークを提案する。 MAAGはまず、入力プロンプトからアクティベーション値を抽出し、メモリバンクに格納された履歴アクティベーションと比較して、迅速な予備検出を行う。
  論文  参考訳（メタデータ） (2025-12-03T01:40:40Z)
• AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
  AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。 外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
  論文  参考訳（メタデータ） (2025-10-02T02:06:30Z)
• Reasoning-to-Defend: Safety-Aware Reasoning Can Defend Large Language Models from Jailbreaking [54.10710423370126]
  本稿では,大規模言語モデルの生成プロセスに安全性を考慮した推論機構を統合する訓練パラダイムであるReasoning-to-Defend(R2D)を提案する。 CPOは、与えられた対話の安全性に対するモデルの認識を高める。 実験によると、R2Dは様々な攻撃を効果的に軽減し、元の性能を維持しながら全体の安全性を向上させる。
  論文  参考訳（メタデータ） (2025-02-18T15:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。