論文の概要: Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making

• arxiv url: http://arxiv.org/abs/2608.20966v1
• Date: Fri, 21 Aug 2026 10:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.510298
• Title: Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making
• Title（参考訳）: 構造的だが偏見:サイバーセキュリティ決定におけるLCMの限界について
• Abstract要約: 大規模言語モデル(LLM)は、サイバーセキュリティにおいてますます使われているが、構造化されたセキュリティ推論を実行できるかどうかは不明だ。 本研究では,現実世界の脅威シナリオから抽出した攻撃グラフに対する防御選択の文脈において,この問題を考察する。 この結果から, LLMは制御された表現下での構造化サイバーセキュリティ推論を近似できるが, 堅牢に適用できないことがわかった。
• 参考スコア（独自算出の注目度）: 2.4336422314992916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used in cybersecurity workflows, yet it remains unclear whether they can perform structured security reasoning or merely rely on superficial cues and prior knowledge. We study this question in the context of defence selection over attack graphs derived from real-world threat scenarios, including ransomware, supply-chain compromise, cloud abuse, Kubernetes attacks, POS malware, and ICS/OT intrusion. Given a budget constraint, LLMs must select security controls to minimise attacker success. We compare their strategies against each other and against a game-theoretic optimization baseline used as a normative reference for structured reasoning. Our results show that LLMs exhibit conditional competence. When explicit attack-graph structure is provided, they often produce coherent strategies close to the optimization baseline. However, their capabilities are fragile. LLM behaviour becomes increasingly fragile with graph complexity and is highly sensitive to framing. Small prompt changes can substantially alter rankings, and merely relabeling a poor strategy as ``optimal'' dramatically improves its evaluation. We further observe a non-monotonic relationship between formal risk and LLM judgement: strategies closest to the optimum are not necessarily ranked highest by LLM evaluators. To further probe reasoning ability, we ask LLMs to generate solvers for the same optimization problem. While the generated implementations recover the correct high-level formulation, they scale poorly compared to a purpose-built solver. Overall, our findings show that LLMs can approximate structured cybersecurity reasoning under controlled representations, but do not apply it robustly. This has important implications for the design and evaluation of AI-assisted security decision-support systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)はサイバーセキュリティのワークフローでますます使われているが、構造化されたセキュリティ推論を実行できるか、単に表面的な手がかりや事前知識に依存しているだけなのかは不明だ。 我々は、ランサムウェア、サプライチェーンの妥協、クラウドの悪用、Kubernetesの攻撃、POSマルウェア、ICS/OT侵入など、現実世界の脅威シナリオから派生した攻撃グラフに対する防御選択の文脈で、この問題を研究する。 予算の制約があるため、LLMは攻撃者の成功を最小限に抑えるためにセキュリティコントロールを選択する必要がある。 構造化推論の規範的基準として使用されるゲーム理論最適化ベースラインに対して,それらの戦略を比較検討する。 以上の結果から, LLMは条件付き能力を示すことが明らかとなった。 明示的な攻撃グラフ構造が提供される場合、最適化基準線に近いコヒーレント戦略をしばしば生成する。 しかし、その能力は脆弱である。 LLMの振る舞いは、グラフの複雑さによってますます脆弱になり、フレーミングに非常に敏感になる。 小さな急進的な変更は、格付けを大幅に変更し、単に ''最適化' として貧弱な戦略を緩和するだけで、その評価が劇的に改善する。 さらに,形式的リスクとLCM判断の非単調な関係を観察する。 推論能力を更に探究するために、我々はLLMに同じ最適化問題の解法を生成するよう依頼する。 生成した実装は正しいハイレベルな定式化を回復するが、目的とする解法に比べてスケールが劣る。 総じて, LLMは制御された表現下での構造化サイバーセキュリティ推論を近似することができるが, 頑健に適用することはできない。 これはAIによるセキュリティ意思決定支援システムの設計と評価に重要な意味を持つ。

関連論文リスト

• METER: Evaluating Multi-Level Contextual Causal Reasoning in Large Language Models [61.33372454250959]
  コンテキスト因果推論は、大規模言語モデルにとって重要なが難しい能力である。 既存のベンチマークでは、コンテキスト整合性を保証するか、完全な因果階層をカバーすることができない。 私たちはMETERの先駆者であり、因果はしごの3つのレベルすべてにわたってLSMを体系的にベンチマークしました。
  論文  参考訳（メタデータ） (2026-04-13T14:07:11Z)
• The Vulnerability of LLM Rankers to Prompt Injection Attacks [40.03039307576983]
  大規模言語モデル(LLM)は強力なリランカとして登場した。 最近の研究では、候補文書に埋め込まれた単純なプロンプトインジェクションは、LCMのランキング決定を著しく変える可能性があることが示されている。
  論文  参考訳（メタデータ） (2026-02-18T06:19:08Z)
• PSM: Prompt Sensitivity Minimization via LLM-Guided Black-Box Optimization [0.0]
  本稿では,シールド付加によるシステムプロンプト硬化のための新しいフレームワークを提案する。 我々は、LSM-as-optimizerを利用してShiELDの空間を探索し、敵攻撃の組から導かれる漏洩量を最小限に抑える。 最適化されたShielDは、包括的な抽出攻撃に対する急激なリークを著しく低減することを示した。
  論文  参考訳（メタデータ） (2025-11-20T10:25:45Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Towards Reliable and Practical LLM Security Evaluations via Bayesian Modelling [1.0266286487433585]
  新しい大規模言語モデル(LLM)アーキテクチャを採用する前に、脆弱性を正確に理解することが重要である。 既存の評価を信頼することは困難であり、しばしばLLMから結論を導き出す。 インジェクション攻撃の迅速化を目的としたLCM脆弱性評価のための,原則的かつ実用的なエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-07T09:22:22Z)
• Can LLMs effectively provide game-theoretic-based scenarios for cybersecurity? [51.96049148869987]
  大規模言語モデル(LLM)は、コンピュータシステムのセキュリティに新しいツールと課題を提供する。 従来のゲーム理論フレームワークが,LLM駆動型アクターやボットの動作を効果的に捉えることができるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-08-04T08:57:14Z)
• LogicGuard: Improving Embodied LLM agents through Temporal Logic based Critics [3.3890411643175646]
  大規模言語モデル(LLM)はゼロショットと単一ステップの推論と意思決定の問題において有望であることを示している。 LogicGuardは,LLMアクターを軌跡レベルのLCM評論家に案内するモジュール型アクター・クリティックアーキテクチャである。 我々のセットアップは、言語モデルの推論強度と形式論理の保証を組み合わせる。
  論文  参考訳（メタデータ） (2025-07-04T04:53:53Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
  大規模言語モデル(LLM)は、より有能で広く普及している。 テスト時間計算の標準化, 測定, スケーリングの最近の進歩は, ハードタスクにおける高い性能を達成するためにモデルを最適化するための新しい手法を提案する。 本稿では、これらの進歩をジェイルブレイクモデルに応用し、協調LDMから有害な応答を誘発する。
  論文  参考訳（メタデータ） (2025-02-03T18:59:01Z)
• Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
  大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。 本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-12-05T18:38:30Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• Advancing TTP Analysis: Harnessing the Power of Large Language Models with Retrieval Augmented Generation [1.2289361708127877]
  大規模言語モデル(LLM)が、サイバーセキュリティなどの重要なドメインに対して正確な応答を提供するために、効率的かつ適切な方法でどのように使用できるかは、不明である。 この研究は、デコーダのみのLLMに対するエンコーダのみのLLM(Retrieval Augmented Generation, RAG)に対する教師付き微調整(SFT)の使用について研究し、比較する。 本研究では,RAGを用いたデコーダのみのLLMが,SFTを用いたエンコーダのみのモデルよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-12-30T16:56:24Z)
• Baseline Defenses for Adversarial Attacks Against Aligned Language Models [109.75753454188705]
  最近の研究は、テキストのモデレーションが防御をバイパスするジェイルブレイクのプロンプトを生み出すことを示している。 検出(複雑度に基づく)、入力前処理(言い換えと再帰化)、対人訓練の3種類の防衛について検討する。 テキストに対する既存の離散化の弱点と比較的高いコストの最適化が組み合わさって、標準適応攻撃をより困難にしていることがわかった。
  論文  参考訳（メタデータ） (2023-09-01T17:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。