論文の概要: Forgeable Confirmation in Automated Computer Security Testing: Deterministic Rules versus AI Judges
- arxiv url: http://arxiv.org/abs/2609.24200v1
- Date: Mon, 21 Sep 2026 07:15:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 15:48:17.392149
- Title: Forgeable Confirmation in Automated Computer Security Testing: Deterministic Rules versus AI Judges
- Title（参考訳）: 自動コンピュータセキュリティテストにおける予測可能な確認:AI判事に対する決定論的ルール
- Abstract要約: 4段階のAIアシストパイプラインのオフラインセキュリティテストでは、その15の確認メカニズムのうち9つが偽造可能である。
我々はこれを監査可能な攻撃面として定式化し、将来的なテストを行う。
発見はAIセキュリティエージェントや文字列マッチングによって成功するベンチマークに当てはまる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI is increasingly used to automate computer security testing, and the tools must decide for themselves whether an attack succeeded. A finding that a deterministic rule confirms by observation is reported as fact, whereas one that an LLM judges exploitable is treated as an opinion. We ask whether the system under test can forge that confirmation. In offline security testing of a four-stage AI-assisted pipeline, nine of its fifteen confirmation mechanisms are forgeable, and forgeability is predicted entirely by whether the decision reads attacker-controlled data. We formalise this as an auditable attack surface and test it prospectively: on sixteen held-out mechanisms, predictions fixed before any attack separated forgeable from unforgeable mechanisms exactly, and across 12,203 mechanisms in public scanner templates the prediction was 99.9% accurate. Deterministic rules proved cheaper to forge than eight open-weight LLM judges, failing at 2% of attacker-controlled response content against a median of 50%. No implementation of one check was both robust and precise, and routing between a rule and an AI judge raised forgery to 99%. Moving the decisive evidence to a channel the attacker cannot write cuts attack success from 97% to 0%, and an escalate verdict recovers the sensitivity this costs. The protection fails when the scanned host is itself the adversary. The results bear on AI security agents and on benchmarks that score success by string matching.
- Abstract（参考訳）: AIはコンピュータのセキュリティテストを自動化するためにますます使われており、攻撃が成功したかどうかをツールが自分で決めなければならない。
決定論的ルールが観察によって確認されるという発見は事実として報告され、一方、LLMの判断が悪用可能なものについては意見として扱われる。
テスト中のシステムがその確認を偽造できるかどうかを問う。
4段階のAIアシストパイプラインのオフラインセキュリティテストでは、その15の確認メカニズムのうち9つは偽造可能であり、偽造可能性は、決定が攻撃者が制御したデータを読み取るかどうかによって完全に予測される。
我々はこれを監査可能な攻撃面として定式化し、前向きに検証する: 16のホールトアウトメカニズムでは、偽造不可能なメカニズムと正確に分離できる攻撃の前に固定された予測、パブリックスキャナテンプレートの12,203のメカニズムで予測が99.9%正確である。
決定論的ルールは、8人のオープンウェイトLCM審査員よりも安価で、攻撃者が制御する応答内容の2%が中央値50%に対して失敗していた。
1つのチェックの実装は堅牢で正確であり、ルールとAIの裁判官の間のルーティングは、偽造を99%まで引き上げた。
決定的な証拠をチャネルに移すと、攻撃者は攻撃の成功を97%から0%に減らし、エスカレートな評決は、このコストの感度を回復させる。
スキャンされたホスト自体が敵である場合、保護は失敗する。
結果は、AIセキュリティエージェントと、文字列マッチングによって成功するベンチマークに当てはまる。
関連論文リスト
- NiyamAI - An Intent-Bound AI Agent with Cryptographically Verifiable Guardrails using Zero-Knowledge Proofs [0.20215383828623398]
安全対策を実証するフレームワークであるNiyam-AIを紹介する。
我々は,Ner-SafetyBenchとNeMo Guardrails,MetaのLlama Prompt Guard 2,OpenAIのGPT-OSS-Safeguardの2,000の現実世界シナリオについて,Niyam-AIを評価した。
Niyam-AIは390対NeMo(vs 20敗)、115対Prompt Guard 2(vs 13)、384対GPT-OSS-Safeguardで勝利した。
論文 参考訳（メタデータ） (2026-08-07T12:36:52Z) - Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。
以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。
我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
論文 参考訳（メタデータ） (2026-07-30T16:22:13Z) - Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents [0.0]
最近の研究は、間接的プロンプトインジェクションに対するツール使用 LLM エージェントの防御戦略に集約されている。
我々はこれらのアウト・オブ・バンド・ディフェンスを古典的整合性保護の事例として整理する。
我々は、このプロトコルを、Progent自身の適応攻撃解析の独立した複製と拡張として実行している。
論文 参考訳（メタデータ） (2026-06-25T00:35:23Z) - Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems [0.0]
エージェントAIシステムは、命令を解釈し、外部データを処理し、ツールを呼び出し、他のエージェントと調整するための言語モデルコンポーネントにますます依存している。
本研究は、標的システムの確率モデル、防御機構、および攻撃者の自動判断による攻撃防御設定を解析する。
論文 参考訳（メタデータ） (2026-06-18T16:50:28Z) - AgentTrust: A Self-Improving Trust Layer for AI-Agent Actions [2.9991161518367875]
AgentTrust v2は、独自の意思決定の流れから自己進化する信頼層である。
自己学習裁判官は、語彙的脅威に対して成長する決定論的ルールフロアを蒸留し、意味的脅威に対してガードされたRAGメモリを供給する。
エンドツーエンドのオンラインリプレイでは、裁判官のコールレートが50%から44%低下し、裁判官のドメイン精度が71%から80%上昇し、45,000のアクションで0の良質なハードブロックが達成された。
論文 参考訳（メタデータ） (2026-06-07T09:39:20Z) - Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。
調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。
調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
論文 参考訳（メタデータ） (2026-03-19T10:40:27Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。
本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。
攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文 参考訳（メタデータ） (2024-07-15T23:41:11Z) - Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。
既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。
以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
論文 参考訳（メタデータ） (2022-07-20T19:49:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。