論文の概要: Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety

• arxiv url: http://arxiv.org/abs/2607.01277v1
• Date: Wed, 01 Jul 2026 06:36:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.520165
• Title: Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety
• Title（参考訳）: Cognitive Firewall: LLM安全性のためのアクティブでゼロ・トラスト、マルチゲートフレームワーク
• Abstract要約: 本稿では,プロアクティブなランタイム監視フレームワークであるCognitive Firewallについて述べる。 4つのジェイルブレイクベンチマークと良心的な安全テストセットの実験は、Cognitive Firewallがシングルターン、マルチターン、オーソリティベース、人為的な攻撃で攻撃の成功を大幅に減少させることを示している。
• 参考スコア（独自算出の注目度）: 4.989841843916001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can be induced to produce harmful content through multi turn strategies in which no single user message appears clearly unsafe. Existing runtime safeguards commonly evaluate prompts or responses as isolated messages, which limits their ability to recover ac-cumulated intent, verify asserted authority, or detect harmful objectives decomposed across a dialogue. This paper presents the Cognitive Firewall, a proactive runtime oversight framework that interposes an independent oversight model between a user and a protected target mod l. The framework decomposes safety assessment into four categorical gates: an intent gate that identi-fies the operational objective of a request, a zero trust context gate that treats claimed roles and permissions as unverified evidence, a consistency gate that detects escalation and decomposition across turns, and an output risk gate that inspects candidate responses before release. Gate decisions are combined through escalation rather than score averaging, allowing any confident danger signal to block an interaction while preserving an auditable rationale. Experiments on four jailbreak benchmarks and a benign safety test set show that the Cognitive Firewall substantially reduces attack success across single turn, multi turn, authority based, and human crafted attacks. It lowers attack success to 2 percent or below on three attack sets and to 14 percent on the most difficult human crafted set, while maintaining an 8 percent over refusal rate. These results indicate that decomposed, conversation level oversight can improve proactive containment and auditability for LLM safety.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、単一のユーザメッセージが明らかに安全でないように見えるマルチターン戦略を通じて有害なコンテンツを生成するように誘導することができる。 既存のランタイムセーフガードは、通常、プロンプトまたはレスポンスを孤立したメッセージとして評価する。これは、AC累積インテントの回復、アサートされた権限の検証、または対話中に分解された有害な目的を検出する能力を制限する。 本稿では,プロアクティブなランタイム監視フレームワークであるCognitive Firewallについて述べる。 このフレームワークは、要求の運用目的を識別するインテントゲート、請求されたロールとパーミッションを証明されていない証拠として扱うゼロ信頼コンテキストゲート、ターン間のエスカレーションと分解を検出する一貫性ゲート、リリース前の候補応答を検査する出力リスクゲートの4つのカテゴリに分類する。 ゲート決定は、スコア平均よりもエスカレーションによって結合され、確実な危険信号は、監査可能な合理性を維持しながら相互作用をブロックすることができる。 4つのジェイルブレイクベンチマークと良心的な安全テストセットの実験は、Cognitive Firewallがシングルターン、マルチターン、オーソリティベース、人為的な攻撃で攻撃の成功を大幅に減少させることを示している。 攻撃の成功率を3つの攻撃セットで2%以下に下げ、最も難しい人間の作りセットで14%まで下げる一方で、拒絶率で8%以上維持する。 これらの結果から,LLMの安全性を高めるために,会話レベル監視を分解することにより,積極的な包摂性や監査性を向上させることが示唆された。

関連論文リスト

• SRD-GUARD: A Defense Framework of LLMs via Semantic Rewriting and Joint Multi-Model Scoring for Latent Intent Exposure [7.121327089434882]
  SRD-GUARDはパラメータフリーでブラックボックスの防御フレームワークで、セマンティックリライトとコンセンサスに基づくリスクアセスメントを通じて隠された意図を公開する。 Llama-3-8B-UncensoredおよびDeepSeek-V4-Flash上で,UNIATTACK,CIPHER,DeepInceptionに対するSRD-GUARDの評価を行った。
  論文  参考訳（メタデータ） (2026-09-06T11:26:08Z)
• TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation [19.39203198049072]
  軌道認識型構造化推論を用いたマルチターンディフェンスであるTraceを導入する。 操作キューを軌跡から識別し、ユーザ意図の良識と敵意の両方の解釈を評価し、ジェイルブレイクスコアを割り当て、アクションにコミットする。 平均攻撃成功率(ASR)は14.5%、最強のベースラインは31.4%、未防御のターゲットは74.9%である。
  論文  参考訳（メタデータ） (2026-08-16T07:32:02Z)
• When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
  ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。 我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。 クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
  論文  参考訳（メタデータ） (2026-08-02T08:38:44Z)
• Steering LLM Viewpoints through Fabricated Evidence Injection [61.22850755490993]
  提案手法では,2段階のアタック・フレームワークを導入し,まず構成された有理数で誤解を招く文を再パッケージし,関連する問合せに応答する上で,これらの視点を組み込むことを目標LLMに指示する。 BBQ、ToxiGen、および我々の特別なデータセットの実験により、外部安全分類器を持たない商用LLMは、非常に脆弱であることが判明した。 そこで我々は,複数の防衛戦略について検討し,その中のひとつとして,gpt-oss-safeguardが81%の検知率を達成した。
  論文  参考訳（メタデータ） (2026-06-04T14:48:23Z)
• AgentSecBench: Measuring Prompt Injection, Privacy Leakage, and Tool-Use Integrity in LLM Agents [0.2864713389096699]
  本稿では,AgentSecBenchを,この問題に対する正式なセキュリティフレームワークの実証的なインスタンス化として紹介する。 3つのゲーム・インストラクション・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)を定めている。 これは、承認された観察と能力に対するプロジェクションとしてのアプリケーションポリシーを表し、プロジェクションの即時アノテーションとプロジェクションの強化を区別し、敵のアドバンテージと、防衛が生成前に関連するモデル可視チャネルを閉鎖するかどうかを計測する。
  論文  参考訳（メタデータ） (2026-05-25T18:53:22Z)
• One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue [55.98008208209856]
  マルチターン対話における隠れた悪意のある意図は、大規模言語モデル(LLM)に対する脅威を増大させる 近年の研究では、安全アライメントや外部ガードレールの進歩にもかかわらず、高度なガードレールを備えた近代的な商用モデルでさえも、このような攻撃に対して脆弱であることが示されている。 そこで本研究では,この課題に対処するため,最も早いタイミングで候補応答を届けることによって,蓄積された相互作用が有害な作用を可能にするのに十分であることを示す。
  論文  参考訳（メタデータ） (2026-05-07T03:35:31Z)
• TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
  我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。 提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。 グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
  論文  参考訳（メタデータ） (2026-03-02T22:19:13Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。