論文の概要: SafeHarbor: Hierarchical Memory-Augmented Guardrail for LLM Agent Safety
- arxiv url: http://arxiv.org/abs/2605.05704v1
- Date: Thu, 07 May 2026 05:50:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.541802
- Title: SafeHarbor: Hierarchical Memory-Augmented Guardrail for LLM Agent Safety
- Title（参考訳）: SafeHarbor: LLMエージェント安全のための階層型メモリ拡張ガードレール
- Authors: Zhe Liu, Zonghao Ying, Wenxin Zhang, Quanchen Zou, Deyue Zhang, Dongdong Yang, Xiangzheng Zhang, Hao Peng,
- Abstract要約: 悪意のあるアクターは、Large Language Model (LLM)エージェントを操作して、有害なコンテンツを生成するツールを実行することができる。
textscSafeHarborは、LLMエージェントの正確な決定境界を確立するために設計された新しいフレームワークである。
textscSafeHarborは曖昧な良質なタスクと明示的な悪意のある攻撃の両方で最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 10.846727385398589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid evolution of foundation models, Large Language Model (LLM) agents have demonstrated increasingly powerful tool-use capabilities. However, this proficiency introduces significant security risks, as malicious actors can manipulate agents into executing tools to generate harmful content. While existing defensive mechanisms are effective, they frequently suffer from the over-refusal problem, where increased safety strictness compromises the agent's utility on benign tasks. To mitigate this trade-off, we propose \textsc{SafeHarbor}, a novel framework designed to establish precise decision boundaries for LLM agents. Unlike static guidelines, \textsc{SafeHarbor} extracts context-aware defense rules through enhanced adversarial generation. We design a local hierarchical memory system for dynamic rule injection, offering a training-free, efficient, and plug-and-play solution. Furthermore, we introduce an information entropy-based self-evolution mechanism that continuously optimizes the memory structure through dynamic node splitting and merging. Extensive experiments demonstrate that \textsc{SafeHarbor} achieves state-of-the-art performance on both ambiguous benign tasks and explicit malicious attacks, notably attaining a peak benign utility of 63.6\% on GPT-4o while maintaining a robust refusal rate exceeding 93\% against harmful requests. The source code is publicly available at https://github.com/ljj-cyber/SafeHarbor.
- Abstract（参考訳）: 基礎モデルの急速な進化により、Large Language Model (LLM) エージェントは、ますます強力なツール使用能力を示している。
しかし、悪質なアクターがエージェントを操作して、有害なコンテンツを生成するツールを操作できるため、この熟練度は重大なセキュリティリスクをもたらす。
既存の防御機構は有効であるが、しばしば過度に拒絶される問題に悩まされる。
このトレードオフを緩和するために、LLMエージェントの正確な決定境界を確立するために設計された新しいフレームワークである「textsc{SafeHarbor}」を提案する。
静的ガイドラインとは異なり、 \textsc{SafeHarbor}は、強化された敵生成を通じてコンテキスト対応の防御ルールを抽出する。
動的ルール注入のための局所階層型メモリシステムを設計し、トレーニング不要で、効率的で、プラグアンドプレイのソリューションを提供する。
さらに,情報エントロピーに基づく自己進化機構を導入し,動的ノード分割とマージによるメモリ構造を継続的に最適化する。
大規模な実験では、‘textsc{SafeHarbor} は曖昧な良性のタスクと明示的な悪質な攻撃の両方で最先端のパフォーマンスを達成し、特に GPT-4o 上で63.6\% の良性のピークに達しながら、有害な要求に対して 93\% を超える堅牢な拒絶率を維持している。
ソースコードはhttps://github.com/ljj-cyber/SafeHarbor.comで公開されている。
関連論文リスト
- CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。
既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。
動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
論文 参考訳（メタデータ） (2026-02-23T06:41:41Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳（メタデータ） (2026-01-15T08:23:38Z) - SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。
SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
論文 参考訳（メタデータ） (2026-01-13T15:01:38Z) - VIGIL: Defending LLM Agents Against Tool Stream Injection via Verify-Before-Commit [44.24310459184061]
オープン環境で動作するLLMエージェントは、間接的なプロンプトインジェクションによるエスカレーションリスクに直面している。
制約的分離から検証前コミットプロトコルへパラダイムをシフトするフレームワークである textbfVIGIL を提案する。
論文 参考訳（メタデータ） (2026-01-09T12:19:49Z) - RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic [56.38397499463889]
視覚言語モデル(VLM)を利用するエージェントは、複雑な現実世界のタスクを実行する能力がますます高まっている。
しかし、安全でない行動を引き起こす可能性のある危険な指示に弱いままである。
提案するRoboSafeは,実行可能述語ベースの安全ロジックを通じて,エージェントを具体化するためのランタイムセーフガードである。
論文 参考訳（メタデータ） (2025-12-24T15:01:26Z) - Securing the Model Context Protocol: Defending LLMs Against Tool Poisoning and Adversarial Attacks [8.419049623790618]
本研究は,MPP統合システムに対するセマンティックアタックの3つのクラスを分析する。
ディスクリプタの整合性を強制するためのRSAベースのマニフェスト署名、不審なツール定義を検出するためのLLM-on-LLMセマンティックベッティング、実行時に異常なツール動作をブロックする軽量ガードレールである。
提案手法は, モデル微調整や内部修正を伴わずに, 安全でないツール実行率を低減できることを示す。
論文 参考訳（メタデータ） (2025-12-06T20:07:58Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T07:05:23Z) - IPIGuard: A Novel Tool Dependency Graph-Based Defense Against Indirect Prompt Injection in LLM Agents [33.775221377823925]
大規模言語モデル(LLM)エージェントは現実世界のアプリケーションに広くデプロイされており、複雑なタスクのために外部データを検索し操作するためのツールを活用している。
信頼できないデータソースと対話する場合、ツールレスポンスには、エージェントの動作に秘密裏に影響を与え、悪意のある結果をもたらすインジェクションが含まれている可能性がある。
我々はIPIGuardと呼ばれる新しい防御タスク実行パラダイムを提案し、ソースにおける悪意あるツール呼び出しを防止する。
論文 参考訳（メタデータ） (2025-08-21T07:08:16Z) - Agent Safety Alignment via Reinforcement Learning [29.759393704688986]
ツール・ユース・エージェントのための一貫した安全アライメント・フレームワークを提案する。
我々は、良識、悪意があり、ユーザープロンプトとツール応答の両方に敏感な三段階分類を導入する。
その結果,安全性と有効性は共同で最適化できることが示唆された。
論文 参考訳（メタデータ） (2025-07-11T02:34:16Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。