論文の概要: Prompt Injection 2.0: Hybrid AI Threats
- arxiv url: http://arxiv.org/abs/2507.13169v1
- Date: Thu, 17 Jul 2025 14:33:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-18 20:10:24.538501
- Title: Prompt Injection 2.0: Hybrid AI Threats
- Title(参考訳): Prompt Injection 2.0 - ハイブリッドAIの脅威
- Authors: Jeremy McHugh, Kristina Šekrst, Jon Cefalu,
- Abstract要約: 我々はプレアンブルの基礎研究と緩和技術を構築し、現代の脅威に対してそれらを評価した。
我々は,迅速なアイソレーション,ランタイムセキュリティ,特権分離と新たな脅威検出機能を組み合わせたアーキテクチャソリューションを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt injection attacks, where malicious input is designed to manipulate AI systems into ignoring their original instructions and following unauthorized commands instead, were first discovered by Preamble, Inc. in May 2022 and responsibly disclosed to OpenAI. Over the last three years, these attacks have continued to pose a critical security threat to LLM-integrated systems. The emergence of agentic AI systems, where LLMs autonomously perform multistep tasks through tools and coordination with other agents, has fundamentally transformed the threat landscape. Modern prompt injection attacks can now combine with traditional cybersecurity exploits to create hybrid threats that systematically evade traditional security controls. This paper presents a comprehensive analysis of Prompt Injection 2.0, examining how prompt injections integrate with Cross-Site Scripting (XSS), Cross-Site Request Forgery (CSRF), and other web security vulnerabilities to bypass traditional security measures. We build upon Preamble's foundational research and mitigation technologies, evaluating them against contemporary threats, including AI worms, multi-agent infections, and hybrid cyber-AI attacks. Our analysis incorporates recent benchmarks that demonstrate how traditional web application firewalls, XSS filters, and CSRF tokens fail against AI-enhanced attacks. We also present architectural solutions that combine prompt isolation, runtime security, and privilege separation with novel threat detection capabilities.
- Abstract(参考訳): 悪意のある入力がAIシステムを操作して元の命令を無視し、代わりに権限のない命令に従うように設計されたプロンプトインジェクション攻撃は、2022年5月にPreamble, Inc.によって初めて発見され、OpenAIに責任を負う形で開示された。
過去3年間にわたり、これらの攻撃はLLM統合システムにとって重要なセキュリティ脅威となり続けている。
エージェントAIシステムの出現は、LLMがツールや他のエージェントとの協調を通じて、自律的にマルチステップタスクを実行することによって、脅威の風景を根本的に変えた。
現代のプロンプトインジェクション攻撃は、従来のサイバーセキュリティのエクスプロイトと組み合わせることで、従来のセキュリティコントロールを体系的に回避するハイブリッドな脅威を生み出すことができる。
本稿では,従来のセキュリティ対策を回避するために,クロスサイトスクリプティング(XSS),クロスサイトリクエストフォージェリ(CSRF),その他のWebセキュリティ脆弱性をどのように統合するかを検討する。
私たちはPreambleの基礎研究と緩和技術に基づいて、AIワーム、マルチエージェント感染症、ハイブリッドサイバーAI攻撃など、現代の脅威に対してそれらを評価します。
我々の分析では、従来のWebアプリケーションファイアウォール、XSSフィルタ、CSRFトークンがAIによる攻撃に対してどのように失敗するかを示す最近のベンチマークを取り入れています。
また、迅速な分離、ランタイムセキュリティ、特権分離と新たな脅威検出機能を組み合わせたアーキテクチャソリューションも提示します。
関連論文リスト
- The Hidden Dangers of Browsing AI Agents [0.0]
本稿では,複数のアーキテクチャ層にまたがるシステム的脆弱性に着目し,このようなエージェントの総合的なセキュリティ評価を行う。
本研究は,ブラウジングエージェントのエンド・ツー・エンドの脅威モデルについて概説し,実環境への展開を確保するための実用的なガイダンスを提供する。
論文 参考訳(メタデータ) (2025-05-19T13:10:29Z) - Open Challenges in Multi-Agent Security: Towards Secure Systems of Interacting AI Agents [0.0]
分散AIエージェントはすぐにインターネットプラットフォーム間で対話し、従来のサイバーセキュリティやAI安全フレームワークを超えたセキュリティ上の課題を生み出す。
textbfmulti-agent Securityは、分散化されたAIエージェントのネットワークを、そのインタラクションを通じて出現または増幅する脅威に対して保護する、新たな分野である。
論文 参考訳(メタデータ) (2025-05-04T12:03:29Z) - AI threats to national security can be countered through an incident regime [55.2480439325792]
我々は、AIシステムからの潜在的な国家安全保障脅威に対抗することを目的とした、法的に義務付けられたポストデプロイAIインシデントシステムを提案する。
提案したAIインシデント体制は,3段階に分けられる。第1フェーズは,‘AIインシデント’とみなすような,新たな運用方法を中心に展開される。
第2フェーズと第3フェーズでは、AIプロバイダが政府機関にインシデントを通知し、政府機関がAIプロバイダのセキュリティおよび安全手順の修正に関与するべきだ、と説明されている。
論文 参考訳(メタデータ) (2025-03-25T17:51:50Z) - A Framework for Evaluating Emerging Cyberattack Capabilities of AI [11.595840449117052]
本研究は,(1)エンド・ツー・エンド・エンド・アタック・チェーンの検証,(2)AI脅威評価のギャップの同定,(3)目標とする緩和の優先順位付けを支援する,という制約に対処する新たな評価フレームワークを導入する。
我々は、GoogleのThreat Intelligence Groupがカタログ化したサイバーインシデントにAIが関与した12,000件以上の実世界の事例を分析し、7つの代表的なアタックチェーンのアーキタイプをキュレートした。
我々は、特定の攻撃段階にわたって攻撃能力を増幅するAIの可能性について報告し、防御の優先順位付けを推奨する。
論文 参考訳(メタデータ) (2025-03-14T23:05:02Z) - CyberSentinel: An Emergent Threat Detection System for AI Security [0.0]
人工知能(AI)の急速な進歩は、AIによるサイバーセキュリティの脅威に対する攻撃面を大きく広げた。
本稿では,緊急脅威検出のための単一エージェントシステムであるCyberSentinelを紹介する。
進化する敵の戦術に継続的に適応することで、サイバーセンチネルは積極的なサイバーセキュリティ防衛を強化する。
論文 参考訳(メタデータ) (2025-02-20T19:03:32Z) - Position: Mind the Gap-the Growing Disconnect Between Established Vulnerability Disclosure and AI Security [56.219994752894294]
我々は、AIセキュリティレポートに既存のプロセスを適用することは、AIシステムの特徴的な特徴に対する根本的な欠点のために失敗する運命にあると主張している。
これらの欠点に対処する私たちの提案に基づき、AIセキュリティレポートへのアプローチと、新たなAIパラダイムであるAIエージェントが、AIセキュリティインシデント報告の進展をさらに強化する方法について論じる。
論文 参考訳(メタデータ) (2024-12-19T13:50:26Z) - Is Generative AI the Next Tactical Cyber Weapon For Threat Actors? Unforeseen Implications of AI Generated Cyber Attacks [0.0]
本稿では,AIの誤用によるエスカレート脅威,特にLarge Language Models(LLMs)の使用について述べる。
一連の制御された実験を通じて、これらのモデルがどのようにして倫理的およびプライバシー保護を回避し、効果的にサイバー攻撃を発生させるかを実証する。
私たちはまた、サイバー攻撃の自動化と実行のために特別に設計されたカスタマイズされた微調整のLLMであるOccupy AIを紹介します。
論文 参考訳(メタデータ) (2024-08-23T02:56:13Z) - Towards Automated Classification of Attackers' TTPs by combining NLP
with ML Techniques [77.34726150561087]
我々は,NLP(Natural Language Processing)と,研究におけるセキュリティ情報抽出に使用される機械学習技術の評価と比較を行った。
本研究では,攻撃者の戦術や手法に従って非構造化テキストを自動的に分類するデータ処理パイプラインを提案する。
論文 参考訳(メタデータ) (2022-07-18T09:59:21Z) - A System for Efficiently Hunting for Cyber Threats in Computer Systems
Using Threat Intelligence [78.23170229258162]
ThreatRaptorは、OSCTIを使用してコンピュータシステムにおけるサイバー脅威ハンティングを容易にするシステムです。
ThreatRaptorは、(1)構造化OSCTIテキストから構造化された脅威行動を抽出する非監視で軽量で正確なNLPパイプライン、(2)簡潔で表現力のあるドメイン固有クエリ言語であるTBQLを提供し、悪意のあるシステムアクティビティを探し、(3)抽出された脅威行動からTBQLクエリを自動的に合成するクエリ合成メカニズムを提供する。
論文 参考訳(メタデータ) (2021-01-17T19:44:09Z) - Enabling Efficient Cyber Threat Hunting With Cyber Threat Intelligence [94.94833077653998]
ThreatRaptorは、オープンソースのCyber Threat Intelligence(OSCTI)を使用して、コンピュータシステムにおける脅威追跡を容易にするシステムである。
構造化されていないOSCTIテキストから構造化された脅威行動を抽出し、簡潔で表現力豊かなドメイン固有クエリ言語TBQLを使用して悪意のあるシステムアクティビティを探索する。
広範囲にわたる攻撃事例の評価は、現実的な脅威狩りにおけるThreatRaptorの精度と効率を実証している。
論文 参考訳(メタデータ) (2020-10-26T14:54:01Z) - Adversarial Machine Learning Attacks and Defense Methods in the Cyber
Security Domain [58.30296637276011]
本稿では,機械学習技術に基づくセキュリティソリューションに対する敵攻撃に関する最新の研究を要約する。
サイバーセキュリティドメインでエンドツーエンドの敵攻撃を実装するという、ユニークな課題を議論するのは、これが初めてである。
論文 参考訳(メタデータ) (2020-07-05T18:22:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。