論文の概要: StateFence: Task-State Protection Against Evidence-Chain Contamination in Blue-Team LLM Agents

• arxiv url: http://arxiv.org/abs/2611.02605v1
• Date: Mon, 02 Nov 2026 06:28:45 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:20:09.490248
• Title: StateFence: Task-State Protection Against Evidence-Chain Contamination in Blue-Team LLM Agents
• Title（参考訳）: StateFence:Blue-Team LLMエージェントのエビデンス連鎖汚染に対するタスク状態保護
• Abstract要約: 間接的プロンプトインジェクションは、セキュリティオペレーションセンター(SOC)において、ブルーチーム大言語モデル(LLM)エージェントに固有のリスクを生み出す 悪意のある指示をテレメトリ、チケット、検索結果、メモリに埋め込んで、アラートトリアージ、インシデント要約、レスポンスレコメンデーション、およびIndicator of Compromise(IOC)抽出を局所的に妥当な中間決定として伝達する。 我々は、重度ラベル、インシデント物語、対応方針、IOCセットを保護国家として扱うタスク対応評価・防衛フレームワークであるStateFenceを提案する。
• 参考スコア（独自算出の注目度）: 46.724153214302184
• License:
• Abstract: Indirect prompt injection creates a distinctive risk for blue-team Large Language Model (LLM) agents in Security Operations Centers (SOCs). Malicious instructions can be embedded in telemetry, tickets, retrieval results, or memory and then propagate through alert triage, incident summarization, response recommendation, and Indicator of Compromise (IOC) extraction as locally plausible intermediate decisions. We characterize this failure mode as evidence-chain contamination of protected task state. The main challenge is task dependent: a suspicious string may be malicious control text for summarization but essential evidence for IOC extraction. To address this challenge, we propose StateFence, a task-aware evaluation and defense framework that treats severity labels, incident narratives, response policies, and IOC sets as protected states. StateFence maps indirect prompt-injection attacks into explicit, stealth, multi-hop, and persistent SOC evidence attacks, records observable propagation traces, and routes defenses according to the attacked state. Across controlled SOC cases and public-SOC validation cases, StateFence lowers attack success and reduces failures that appear only after evidence is poisoned, while preserving task utility and avoiding the indicator loss caused by task-mismatched filtering. Our findings indicate that robust blue-team LLM agents require mechanisms that preserve task-critical state under untrusted evidence.
• Abstract（参考訳）: 間接的プロンプトインジェクションは、セキュリティオペレーションセンター(SOC)において、Blue-team Large Language Model (LLM)エージェントに固有のリスクを生み出す。 悪意のある指示をテレメトリ、チケット、検索結果、メモリに埋め込んで、アラートトリアージ、インシデント要約、レスポンスレコメンデーション、およびIndicator of Compromise(IOC)抽出を局所的に妥当な中間決定として伝達する。 我々は、この障害モードを、保護されたタスク状態のエビデンスチェーン汚染として特徴付けている。 主な課題はタスク依存であり、不審な文字列は要約のための悪意のある制御テキストであるが、IOCの抽出に不可欠な証拠である。 この課題に対処するため、我々は、重度ラベル、インシデント物語、対応方針、IOCセットを保護国家として扱うタスク対応評価・防衛フレームワークであるStateFenceを提案する。 StateFenceは、間接的にプロンプトインジェクション攻撃を明示的、ステルス的、マルチホップ的、永続的なSOCエビデンス攻撃にマップし、観測可能な伝播トレースを記録し、攻撃された状態に従って防衛をルートする。 コントロールされたSOCケースとパブリックSOCバリデーションケース全体で、StateFenceは攻撃の成功を低くし、証拠が汚染された後にのみ現れる障害を減らすと同時に、タスクユーティリティを保持し、タスクミスマッチしたフィルタリングによるインジケータ損失を回避する。 この結果から,堅牢なブルーチームLLMエージェントには,信頼できない証拠の下でタスククリティカルな状態を維持する機構が必要であることが示唆された。

関連論文リスト

• Prevented is Not Protected: What Attack Success Rate Hides about RAG [5.328366903719861]
  既存の防御は、主に攻撃成功率(ASR)を用いて評価される。 この研究は、thabfAligned RAG Evaluationを導入している。これは一致したクエリプロトコルで、クリーンで有毒な応答を防御なしで、共同で検査する。
  論文  参考訳（メタデータ） (2026-10-29T15:21:32Z)
• Only What You've Signed up For: Secure Workflows with Constrained Diffusion Agents [55.83789518862565]
  政策制約型拡散剤(CoDA)について紹介する。 CoDAは、拡散言語モデルの認知プロセス内で、タスク依存のセキュリティポリシーを直接実施する。 我々は,静的かつ適応的なインジェクション攻撃の下で,最先端の拡散言語モデルファミリ間のCoDAを評価する。
  論文  参考訳（メタデータ） (2026-10-10T20:58:01Z)
• Cognitive Admission Control: Risk-Conditioned Assurance for Consequential Actions in Agentic Distributed Systems [2.124730017640531]
  エージェント分散システムでは、エージェントは外部のインフラを変更できるが、突然変異の実行準備が整っているという証拠は欠如している。 CAC(Cognitive Admission Control)は、この証拠を明示する。 ポリシーは、型付けされた行動とそのモデル化されたリスクを、述語、エビデンスクラス、スコープ、鮮度、証人セットの制約を指定する保証義務にマップする。 承認が成功すると、アクション、証人マニフェスト、ディスパッチタイムガードを結び付ける証明書が生成される。
  論文  参考訳（メタデータ） (2026-09-14T20:20:54Z)
• AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
  AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。 本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
  論文  参考訳（メタデータ） (2026-08-26T11:48:38Z)
• Capability-Routed Guard: Defending Large Reasoning Models Against Reasoning-Centric Jailbreaks [6.260656015665084]
  本稿では,大規模推論モデルのためのモデル依存型推論時ガードレールであるCapability-Routed Guard (CRG)を紹介する。 CRGリフレームは、信頼できない推論コンテキストから実行可能な意図を分離し、防御を機能ルーティング問題として促す。 これは多種多様な理性中心のジェイルブレイクを効果的に軽減し、良質なユーティリティを保持し、共通の過剰な問題を回避している。
  論文  参考訳（メタデータ） (2026-08-08T03:40:06Z)
• Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework [61.79960727298522]
  ビザンチン耐性協調RAGフレームワークSecureCollaRAGを提案する。 提案手法により,エージェントシステムは動的GNNによる信頼性スコアリングにより,文書の証明を確実に行うことができる。 本研究では,SecureCollaRAGが非IIDデータ配信における攻撃者に対する堅牢性を維持していることを示す。
  論文  参考訳（メタデータ） (2026-08-05T02:13:37Z)
• Operational Hallucination and Safety Drift in AI Agents [0.3823356975862005]
  ツール使用自律エージェントのプランナーとして機能する大規模言語モデル(LLM)は、マルチターン実行における動的信頼性のリスクを導入する。 本稿では,複数のLLM(Safety Drift)とOperational Hallucination(Operational Hallucination)の2つの障害モードを実証的に特徴付ける。 本稿では、インテント-アクション整合性チェック、状態追跡、強制終了プリミティブを組み込んだ、軽量でプラグ&プレイのアーキテクチャ青写真であるAction-Aware Supervision Layerを提案する。
  論文  参考訳（メタデータ） (2026-07-20T17:01:50Z)
• Cordon-MAS: Defending RAG against Knowledge Poisoning via Information-Flow Control [22.814552066611597]
  既存の防衛は、毒物検出が害を防いでいると仮定している。 モデルは監視と制御のギャップを示す。 コードン原理を導入します -- 最終的な合成が可能なエージェントは、信頼できない自然言語の証拠にアクセスできません。
  論文  参考訳（メタデータ） (2026-05-26T09:27:19Z)
• AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning [115.3243260783674]
  Retrieval-augmented Generation (RAG) は、外部文書を取得することにより、大きな言語モデル(LLM)推論を強化する。 攻撃者が悪意のあるコンテンツを検索コーパスに注入するRAGにおける知識ベース中毒攻撃について検討した。 AdversarialCoTは、コーパス内の1つのドキュメントだけを毒化するクエリ固有の攻撃である。
  論文  参考訳（メタデータ） (2026-04-14T02:10:23Z)
• Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
  既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。 我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。 評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
  論文  参考訳（メタデータ） (2025-06-06T17:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。