論文の概要: From Promise to Peril: Rethinking Cybersecurity Red and Blue Teaming in the Age of LLMs

• arxiv url: http://arxiv.org/abs/2506.13434v1
• Date: Mon, 16 Jun 2025 12:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.401097
• Title: From Promise to Peril: Rethinking Cybersecurity Red and Blue Teaming in the Age of LLMs
• Title（参考訳）: PromiseからPerilへ - LLM時代のサイバーセキュリティの赤と青のチーム再考
• Authors: Alsharif Abuadbba, Chris Hicks, Kristen Moore, Vasilios Mavroudis, Burak Hasircioglu, Diksha Goel, Piers Jennings,
• Abstract要約: 大規模言語モデル(LLM)は、赤と青のチーム操作を増強することでサイバーセキュリティを再構築する。 このポジションペーパーは、MITRE ATT&CKやNIST Cybersecurity Framework (CSF)のようなサイバーセキュリティフレームワークにまたがってLLMアプリケーションをマッピングする。 主な制限は幻覚、文脈保持の制限、推論の低さ、プロンプトに対する感受性である。 我々は,人間のループ監視の維持,モデル説明可能性の向上,プライバシ保護機構の統合,敵対的搾取に頑健なシステムの構築を推奨する。
• 参考スコア（独自算出の注目度）: 5.438441265064793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are set to reshape cybersecurity by augmenting red and blue team operations. Red teams can exploit LLMs to plan attacks, craft phishing content, simulate adversaries, and generate exploit code. Conversely, blue teams may deploy them for threat intelligence synthesis, root cause analysis, and streamlined documentation. This dual capability introduces both transformative potential and serious risks. This position paper maps LLM applications across cybersecurity frameworks such as MITRE ATT&CK and the NIST Cybersecurity Framework (CSF), offering a structured view of their current utility and limitations. While LLMs demonstrate fluency and versatility across various tasks, they remain fragile in high-stakes, context-heavy environments. Key limitations include hallucinations, limited context retention, poor reasoning, and sensitivity to prompts, which undermine their reliability in operational settings. Moreover, real-world integration raises concerns around dual-use risks, adversarial misuse, and diminished human oversight. Malicious actors could exploit LLMs to automate reconnaissance, obscure attack vectors, and lower the technical threshold for executing sophisticated attacks. To ensure safer adoption, we recommend maintaining human-in-the-loop oversight, enhancing model explainability, integrating privacy-preserving mechanisms, and building systems robust to adversarial exploitation. As organizations increasingly adopt AI driven cybersecurity, a nuanced understanding of LLMs' risks and operational impacts is critical to securing their defensive value while mitigating unintended consequences.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、赤と青のチーム操作を増強することでサイバーセキュリティを再構築する。 レッドチームはLSMを利用して攻撃を計画し、フィッシングコンテンツを作り、敵をシミュレートし、エクスプロイトコードを生成することができる。 逆に、青いチームは脅威知能合成、根本原因分析、ドキュメントの合理化のためにそれらをデプロイすることができる。 この二重能力は、トランスフォーメーションポテンシャルと深刻なリスクの両方をもたらす。 このポジションペーパーは、LLMアプリケーションをMITRE ATT&CKやNIST Cybersecurity Framework (CSF)のようなサイバーセキュリティフレームワークにマッピングし、現在のユーティリティと制限を構造化したビューを提供する。 LLMは様々なタスクにまたがって流線型性や多目的性を示すが、ハイテイクでコンテキストの多い環境では脆弱なままである。 主な制限には、幻覚、限られたコンテキスト保持、推論の低さ、プロンプトに対する感受性などがあり、運用環境での信頼性を損なう。 さらに、現実世界の統合は、二重利用のリスク、敵の誤用、人間の監視の低下に関する懸念を提起する。 悪意あるアクターはLSMを利用して偵察を自動化し、攻撃ベクトルを曖昧にし、高度な攻撃を実行するための技術的閾値を下げることができた。 より安全な採用を実現するため,我々は,人間によるループ監視の維持,モデル説明可能性の向上,プライバシ保護機構の統合,敵対的搾取に頑健なシステムの構築を推奨する。 組織がAIによるサイバーセキュリティをますます採用するにつれて、LLMのリスクと運用上の影響に関する微妙な理解が、意図しない結果の軽減を図りながら、防御的な価値を確保する上で重要である。

関連論文リスト

• CoP: Agentic Red-teaming for Large Language Models using Composition of Principles [61.404771120828244]
  本稿では,Large Language Models (LLM) のリピートプロセスを自動化するエージェントワークフローを提案する。 ヒューマンユーザは、AIエージェントへの指示として、効果的な赤チーム戦略を自動オーケストレーションし、ジェイルブレイクプロンプトを生成する、一連の赤チームの原則を提供する。 先進的なLLMに対して試験すると、CoPは新しいジェイルブレイクプロンプトを見つけ、最もよく知られているシングルターン攻撃の成功率を19.0倍に改善することで、前例のない安全リスクを明らかにしている。
  論文  参考訳（メタデータ） (2025-06-01T02:18:41Z)
• Safety Guardrails for LLM-Enabled Robots [82.0459036717193]
  従来のロボット安全アプローチは、大規模言語モデル(LLM)の新たな脆弱性に対処しない LLM対応ロボットの安全性を確保するための2段ガードレールアーキテクチャであるRoboGuardを提案する。 RoboGuardは、安全プランのパフォーマンスを損なうことなく、安全でないプランの実行を92%から2.5%以下に削減することを示す。
  論文  参考訳（メタデータ） (2025-03-10T22:01:56Z)
• Emerging Security Challenges of Large Language Models [6.151633954305939]
  大規模言語モデル(LLM)は、多くの異なる分野において短期間で記録的な普及を遂げた。 これらは、特定の下流タスクに合わせて調整されることなく、多様なデータでトレーニングされたオープンエンドモデルである。 従来の機械学習(ML)モデルは、敵の攻撃に対して脆弱である。
  論文  参考訳（メタデータ） (2024-12-23T14:36:37Z)
• Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
  大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。 本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-12-05T18:38:30Z)
• Large language models in 6G security: challenges and opportunities [5.073128025996496]
  我々は,潜在的敵の立場から,Large Language Models(LLMs)のセキュリティ面に注目した。 これには包括的脅威分類の開発が含まれ、様々な敵の行動を分類する。 また、我々の研究は、防衛チーム(ブルーチームとしても知られる)によるサイバーセキュリティ活動にLLMがどのように統合されるかに焦点を当てます。
  論文  参考訳（メタデータ） (2024-03-18T20:39:34Z)
• AutoAttacker: A Large Language Model Guided System to Implement Automatic Cyber-attacks [13.955084410934694]
  大規模言語モデル (LLM) は、自然言語処理における印象的な結果を示している。 LLMは必然的に前進するので、前と後の両方の攻撃段階を自動化できるかもしれない。 この研究は、防衛システムやチームが、野生で使用する前に予防的に新しい攻撃行動を検出することを学ぶのに役立つ。
  論文  参考訳（メタデータ） (2024-03-02T00:10:45Z)
• On the Vulnerability of LLM/VLM-Controlled Robotics [54.57914943017522]
  大規模言語モデル(LLM)と視覚言語モデル(VLM)を統合するロボットシステムの脆弱性を,入力モダリティの感度によって強調する。 LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。