論文の概要: ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2607.19430v1
- Date: Mon, 20 Jul 2026 19:11:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:37.888309
- Title: ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems
- Title(参考訳): ChannelGuard: 安全なモデルが安全なマルチエージェントシステムに組み込まれない
- Abstract要約: 本稿では,すべてのエージェント間チャネルに情報コンテナゲートを配置するフレームワークであるChannelGuardを紹介する。
ChannelGuardは、Azure GPT-5, Anthropic Sonnet 4.5, Anthropic Haiku 4.5をまたいで、アプリケーション層で30の30のツールポゾンをブロックする。
また、プロンプト・インジェクションの攻撃成功率を半分(0.333から0.167)下げ、GSM8Kの精度(0.867)を正確に保持する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent LLM applications chain a planner, worker agents, a verifier, and a synthesizer, and every hop between agents is an unmonitored channel through which an adversary can smuggle instructions. Existing defenses guard only the input boundary (IBProtector, Llama Guard, perplexity filters, SmoothLLM) or run outside the application as opaque, stochastic provider-side filters. We show this gap carries a consequence rarely measured: on a 2,100-trace evaluation across eight attack families, five defenses, and three model backends, an undefended pipeline that appears fully safe under standard reporting (attack success 0.000 on tool- and memory-poisoning) owes that safety almost entirely to the cloud provider's server-side filter (54 of 60 blocks on Azure GPT-5), and silently shifts to the agent model's own alignment on a backend without such a filter. Outcome-only reporting hides this dependence. We present ChannelGuard, a training-free defense-in-depth framework placing information-bottleneck gates on every inter-agent channel; each scores channel text against an adversarial phrase bank by embedding similarity and deterministically passes, compresses, or blocks it, adding no LLM call, while an attribution method records which layer stopped each attack. ChannelGuard's tool-output gate blocks Tool Poisoning 30 of 30 at the application layer, identically across Azure GPT-5, Anthropic Sonnet 4.5, and Anthropic Haiku 4.5, whereas the undefended pipeline shifts entirely across backends; it also lowers Prompt Injection attack success by half (0.333 to 0.167) and preserves GSM8K accuracy exactly (0.867). White-box adaptive paraphrase evades every embedding gate, where a perturb-and-vote baseline does better. An extended appendix adds baselines, ablations, sweeps, a benign-preservation analysis, and a judge audit (kappa = 0.900), at a total cost of 47.36 USD.
- Abstract(参考訳): マルチエージェントLLMアプリケーションは、プランナー、ワーカーエージェント、検証器、シンセサイザーをチェーンし、エージェント間のすべてのホップは、敵が命令を密輸できる監視されていないチャネルである。
既存のディフェンスは、入力境界(IBProtector、Llama Guard、perplexity filters、SmoothLLM)のみを保護するか、不透明で確率的なプロバイダサイドフィルタとしてアプリケーション外で実行される。
8つのアタックファミリー、5つのディフェンス、3つのモデルバックエンドにわたる2100のトレース評価では、標準的なレポートの下で完全に安全であるように見える未定義のパイプライン(ツールとメモリの汚染に対する攻撃成功率0.000)は、ほぼ完全にクラウドプロバイダのサーバサイドフィルタ(Azure GPT-5では60ブロック中54ブロック)に、そのフィルタなしでエージェントモデル独自のアライメントにサイレントにシフトしていることを示しています。
アウトカムのみのレポートは、この依存を隠蔽する。
本稿では,各アジェントチャネルに情報ブートネックゲートを配置するトレーニングフリーのディフェンスフレームワークであるChannelGuardについて紹介する。それぞれが類似性を埋め込み,それを確定的に通過,圧縮,ブロックすることにより,逆行するフレーズバンクに対してチャネルテキストをスコアする。
ChannelGuardのツール出力ゲートブロックは、Azure GPT-5, Anthropic Sonnet 4.5, Anthropic Haiku 4.5をまたいで、アプリケーション層で30のツールポゾンをブロックする。
ホワイトボックス適応パラフレーズは、パーターブ・アンド・ボイトベースラインが良くなるすべての埋め込みゲートを避ける。
拡張付録には、ベースライン、アブレーション、スイープ、良心保存分析、裁判官監査(kappa = 0.900)が47.36米ドルで追加されている。
関連論文リスト
- Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。
Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
論文 参考訳(メタデータ) (2026-09-02T07:57:12Z) - The Framing Gap: Indirect Prompt-Injection Exfiltration Defeats Surface-Level Defenses in Tool-Using Agents [2.45357121165634]
攻撃者が制御するWebコンテンツを読み取るツール使用のLLMエージェントは間接的なプロンプトインジェクションである。
10のオーバートインジェクションクラスが拒否される(gpt-4o 0%)が、同じリークを必須整合性シグネチャとして無視する。
アブレーションは、そのメカニズムが命令/データの混乱であり、アライメントを損なわないことを示している。
論文 参考訳(メタデータ) (2026-08-27T13:12:03Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-26T12:13:05Z) - Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。
我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。
我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
論文 参考訳(メタデータ) (2026-06-29T18:00:45Z) - A Layered Security Framework Against Prompt Injection in RAG-Based Chatbots [1.948261185683419]
推論パイプライン全体を通して直接および間接的なインジェクションをインターセプトする3層フレームワークを提案する。
GPT-4o、Llama 3、Mistral 7Bの5,080サンプルの評価は、このフレームワークが攻撃成功率(ASR)を71.4%から11.3%に下げていることを示している。
論文 参考訳(メタデータ) (2026-06-17T23:59:57Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳(メタデータ) (2026-06-01T19:39:25Z) - SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors [3.989565392866092]
SLEIGHT-Bench (Subtle Low-itEration Insight-Guided Harmful Transcripts) は、11カテゴリにわたる40の攻撃を含む合成写本のベンチマークである。
40件中20件はOpus 4.6モニターで捕捉されず、10回の試験で1%の偽陽性率で思考を延長し、全体のキャッチレートは32%である。
論文 参考訳(メタデータ) (2026-05-15T20:46:46Z) - AgentShield: Deception-based Compromise Detection for Tool-using LLM Agents [4.36595961990666]
AgentShieldは詐欺ベースの検出フレームワークである。
エージェントのツールインターフェース内に3つのトラップ層を配置する。
攻撃の成功率は90.7%-100%で、485の正常使用試験では誤報はゼロである。
論文 参考訳(メタデータ) (2026-05-10T20:08:27Z) - Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models [5.937023024175801]
本稿では,階層間隠れ状態軌跡を健康信号として扱う無チューニングランタイムモニタであるLayerwise Convergence Fingerprinting (LCF)を紹介する。
4つのアーキテクチャ(Llama-3-8B、Qwen2.5-7B、Gemma-2-9B、Qwen2.5-14B)をバックドア、ジェイルブレイク、即時注入で評価した。
論文 参考訳(メタデータ) (2026-04-27T14:38:31Z) - AttriGuard: Defeating Indirect Prompt Injection in LLM Agents via Causal Attribution of Tool Invocations [38.49666480491258]
LLMエージェントは間接プロンプト注入(IPI)に対して非常に脆弱である
本稿では,特定のツールコールが生成される理由を問うことでエージェントをセキュアにする,アクションレベルの因果属性という新しいパラダイムを提案する。
我々はこのパラダイムを、並列対実テストに基づくランタイムディフェンスであるAttriGuardでインスタンス化する。
論文 参考訳(メタデータ) (2026-03-11T13:23:46Z) - TrapSuffix: Proactive Defense Against Adversarial Suffixes in Jailbreaking [52.72486831074384]
サフィックスベースのジェイルブレイク攻撃は、敵のサフィックス、すなわち短いトークンシーケンスを付加し、LLMを安全でない出力にステアリングする。
提案するTrapSuffixは,推論パイプラインを変更することなく,トラップアラインな動作をベースモデルに注入する,軽量な微調整手法である。
様々なサフィックスベースのジェイルブレイク設定で、TrapSuffixは平均攻撃成功率を0.01%以下に下げ、平均追跡成功率87.9%を達成する。
論文 参考訳(メタデータ) (2026-02-06T11:43:56Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳(メタデータ) (2025-12-01T07:05:23Z) - BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks [58.959622170433725]
BlindGuardは、攻撃固有のラベルや悪意のある振る舞いに関する事前の知識を必要とせずに学習する、教師なしの防御方法である。
BlindGuardはマルチエージェントシステムにまたがる多様な攻撃タイプ(即時注入、メモリ中毒、ツール攻撃)を効果的に検出する。
論文 参考訳(メタデータ) (2025-08-11T16:04:47Z) - Denial-of-Service Poisoning Attacks against Large Language Models [64.77355353440691]
LLMはDenial-of-Service(DoS)攻撃に対して脆弱で、スペルエラーや非意味的なプロンプトが[EOS]トークンを生成することなく、無限のアウトプットをトリガーする。
本研究では, LLM に対する毒素を用いた DoS 攻撃について提案し, 1 つの毒素を注入することで, 出力長の限界を破ることができることを示した。
論文 参考訳(メタデータ) (2024-10-14T17:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。