論文の概要: Why Formal Monitors Fail: Attack Distribution Entropy as a Coverage Bound for LTL-Based LLM Agent Safety
- arxiv url: http://arxiv.org/abs/2608.01388v1
- Date: Sun, 02 Aug 2026 17:08:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.191283
- Title: Why Formal Monitors Fail: Attack Distribution Entropy as a Coverage Bound for LTL-Based LLM Agent Safety
- Title(参考訳): なぜホルマルモニターが機能しないのか: LTL-based LLM Agent Safety のカバー境界としての攻撃分布エントロピー
- Abstract要約: リニア・テンポラル・ロジック(LTL)と有限オートマトン(FSA)に基づく安全モニタは、エージェント内の安全でないツールコールシーケンスをインターセプトするためにますます普及している。
しかし、同じモニターは、いくつかのモデルアーキテクチャで68-75%のアタックカバレッジを実現し、他ではほぼゼロに近い。
固定不変なFSAモニタのリコールは攻撃分布の集中によって上述の値に制限されていることを示す。
- 参考スコア(独自算出の注目度): 2.5599656137521425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Runtime safety monitors based on Linear Temporal Logic (LTL) and finite automata (FSA) are increasingly deployed to intercept unsafe tool-call sequences in LLM agents. Yet the same monitor achieves 68-75% attack coverage on some model architectures and near-zero on others, with no explanation from capability scores, training data, or prompt design. We provide the missing theory. We prove that the recall of any fixed-invariant FSA monitor is bounded above by the concentration of the attack distribution: the fraction of attacks covered by the k most frequent trigger-completion patterns. When attacks concentrate (low Shannon entropy), a small fixed invariant set achieves high recall; when they disperse across many structurally distinct patterns (high entropy), no fixed invariant set of tractable size can, regardless of how the invariants were derived. We validate this entropy-coverage bound across eight frontier LLM architectures. GPT-class and DeepSeek backends yield highly concentrated attacks (H ~ 0.24 bits; one pattern covers 96%), explaining 68-75% recall; Gemini variants yield high-entropy distributions (H ~ 2.81 bits; 7 clusters each <= 7%), explaining near-zero recall (6-13%), invariant to architecture-matched retraining. Entropy accounts for 76% of variance in coverage (Pearson r = -0.87, p = 0.005, 95% CI [-0.98, -0.78]), holding under leave-one-out (r in [-0.91, -0.82]). We introduce a pre-deployment entropy test that predicts monitor coverage from a small attack sample, enabling architecture-aware monitor selection before deployment. The bound and test are architecture-agnostic and apply to any FSA-based runtime monitor over discrete action sequences.
- Abstract(参考訳): 線形時間論理(LTL)と有限オートマトン(FSA)に基づく実行時安全モニタは、LLMエージェントの安全でないツールコールシーケンスをインターセプトするために、ますます多くデプロイされている。
しかし、同じモニターは、いくつかのモデルアーキテクチャとほぼゼロのモデルで68-75%の攻撃カバレッジを実現しており、能力スコアやトレーニングデータ、あるいはプロンプト設計からの説明はない。
私たちは欠落した理論を提示する。
固定不変なFSAモニタのリコールは、攻撃分布の集中によって、上述の「最も頻繁なトリガー・コンプリートパターン」によってカバーされる攻撃の分数」によって制限されていることを証明した。
攻撃が集中する(シャノンエントロピーの低い)とき、小さな固定不変集合は高いリコールを達成し、それらが多くの構造的に異なるパターン(高いエントロピー)に分散する場合、不変量がどのように導出されるかに関わらず、固定不変集合は存在しない。
8つのLLMアーキテクチャにまたがるエントロピー被覆を検証する。
GPTクラスとDeepSeekバックエンドは高度に集中した攻撃(H ~ 0.24 ビット、パターンは 96% )、68-75% のリコール、ジェミニ変種は高いエントロピー分布(H ~ 2.81 ビット、クラスタは7 <= 7%)、ほぼゼロに近いリコール(6-13%)、アーキテクチャに適合したリトレーニングと不変である。
エントロピーは、範囲のばらつき(ピアソン r = -0.87, p = 0.005, 95% CI [-0.98, -0.78])の76%を占める([-0.91, -0.82])。
デプロイ前エントロピーテストを導入し、小さな攻撃サンプルから監視対象を予測し、デプロイ前にアーキテクチャを意識した監視選択を可能にする。
バウンダリとテストはアーキテクチャに依存しず、個別のアクションシーケンス上の任意のFSAベースのランタイムモニタに適用できる。
関連論文リスト
- Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。
粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。
ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
論文 参考訳(メタデータ) (2026-08-04T23:48:36Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳(メタデータ) (2026-07-08T05:48:57Z) - Multi-Level Distributional Entropy for Explainable Network Intrusion Detection [3.6406488220483326]
本稿では,フローレベルの要約統計から直接解釈可能なエントロピー特徴を導出するフレームワークを提案する。
4つのベンチマークで、エントロピーのみの機能は0.708-0.989の重み付きF1を達成する。
完全な運用メトリックレポートは、F1の隠蔽を集約する障害モードを公開する。
論文 参考訳(メタデータ) (2026-06-29T05:19:21Z) - How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。
因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。
本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
論文 参考訳(メタデータ) (2026-06-10T21:07:49Z) - Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation [6.129872931808218]
キー値(KV)キャッシュの量子化は、Large Language Model(LLM)推論メモリの削減に広く利用されている。
本研究では,KVキャッシュ量子化下でのアライメント保存について検討する。
低ビット量子化は安全アライメントを静かに破壊することができる。
論文 参考訳(メタデータ) (2026-06-01T02:02:20Z) - How VLAs Fail Differently: Black-Box Action Monitoring Reveals Architecture-Specific Failure Signatures [0.0]
VLAアーキテクチャは、モーター・コマンドレベルで根本的に異なる予測可能な方法で失敗する。
我々は、よく知られた離散/連続的なVLAの区別の結果を定量化する。
論文 参考訳(メタデータ) (2026-05-27T16:44:55Z) - EntropyScan: Towards Model-level Backdoor Detection in LVLMs via Visual Attention Entropy [66.59724477993339]
LVLM(Large Vision-Language Models)は、様々なタスクにまたがる優れた能力を示すが、バックドア攻撃には弱い。
本稿では,LVLMにおけるモデルレベルのバックドア検出のための軽量かつトリガに依存しないEntropyScanを提案する。
私たちのコードはまもなく公開されます。
論文 参考訳(メタデータ) (2026-05-15T08:01:32Z) - Beyond Single-Agent Alignment: Preventing Context-Fragmented Violations in Multi-Agent Systems [10.660248467840821]
新たなセキュリティリスクの特定と形式化:CFV(Context-Fragmented Violations)
CFVは、個々のエージェントの行動が局所的に安全かつ合理的に見えるが、全体として組織的方針に反する政策違反の類である。
分散ゼロトラスト適用アーキテクチャである分散センチネルを提案する。
論文 参考訳(メタデータ) (2026-04-24T03:08:52Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳(メタデータ) (2026-03-10T04:07:39Z) - Trajectory Guard -- A Lightweight, Sequence-Aware Model for Real-Time Anomaly Detection in Agentic AI [0.0]
トラジェクトリガードはシームズ・リカレント・オートエンコーダであり、コントラスト学習によるタスク・トラジェクトリアライメントと、再構成によるシーケンシャル・アライメントを共同で学習するハイブリッド・ロス機能を備えている。
32ミリ秒のレイテンシで、当社のアプローチは LLM Judge のベースラインよりも17-27倍高速で動作し、実運用環境におけるリアルタイムの安全性検証を可能にします。
論文 参考訳(メタデータ) (2026-01-02T00:27:11Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。
これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
論文 参考訳(メタデータ) (2025-09-05T10:03:00Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳(メタデータ) (2024-05-01T12:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。