論文の概要: Cascade: Composing Software-Hardware Attack Gadgets for Adversarial Threat Amplification in Compound AI Systems

• arxiv url: http://arxiv.org/abs/2603.12023v1
• Date: Thu, 12 Mar 2026 15:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.166292
• Title: Cascade: Composing Software-Hardware Attack Gadgets for Adversarial Threat Amplification in Compound AI Systems
• Title（参考訳）: Cascade:複合AIシステムにおける敵の脅威増幅のためのソフトウェア・ハードウェア・アタック・ガジェットの構築
• Authors: Sarbartha Banerjee, Prateek Sahu, Anjo Vahldiek-Oberwagner, Jose Sanchez Vicarte, Mohit Tiwari,
• Abstract要約: 複合AIシステムは、分散ハードウェアインフラストラクチャ上で動作する階層化された従来のソフトウェアスタック上に構築される。 この研究は、従来のソフトウェアとハードウェアの脆弱性が、複合AIシステムの完全性を損なうアルゴリズム攻撃を補完する方法について研究する。
• 参考スコア（独自算出の注目度）: 2.393556797236307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rapid progress in generative AI has given rise to Compound AI systems - pipelines comprised of multiple large language models (LLM), software tools and database systems. Compound AI systems are constructed on a layered traditional software stack running on a distributed hardware infrastructure. Many of the diverse software components are vulnerable to traditional security flaws documented in the Common Vulnerabilities and Exposures (CVE) database, while the underlying distributed hardware infrastructure remains exposed to timing attacks, bit-flip faults, and power-based side channels. Today, research targets LLM-specific risks like model extraction, training data leakage, and unsafe generation -- overlooking the impact of traditional system vulnerabilities. This work investigates how traditional software and hardware vulnerabilities can complement LLM-specific algorithmic attacks to compromise the integrity of a compound AI pipeline. We demonstrate two novel attacks that combine system-level vulnerabilities with algorithmic weaknesses: (1) Exploiting a software code injection flaw along with a guardrail Rowhammer attack to inject an unaltered jailbreak prompt into an LLM, resulting in an AI safety violation, and (2) Manipulating a knowledge database to redirect an LLM agent to transmit sensitive user data to a malicious application, thus breaching confidentiality. These attacks highlight the need to address traditional vulnerabilities; we systematize the attack primitives and analyze their composition by grouping vulnerabilities by their objective and mapping them to distinct stages of an attack lifecycle. This approach enables a rigorous red-teaming exercise and lays the groundwork for future defense strategies.
• Abstract（参考訳）: 複数の大規模言語モデル(LLM)、ソフトウェアツール、データベースシステムで構成されるパイプライン。 複合AIシステムは、分散ハードウェアインフラストラクチャ上で動作する階層化された従来のソフトウェアスタック上に構築される。 多様なソフトウェアコンポーネントの多くは、Common Vulnerabilities and Exposures (CVE)データベースに記録されている従来のセキュリティ欠陥に弱いが、基盤となる分散ハードウェアインフラストラクチャは、タイミング攻撃、ビットフリップ障害、電力ベースのサイドチャネルに曝されている。 今日では、従来のシステムの脆弱性の影響を見越して、モデル抽出やトレーニングデータリーク、安全でない生成といったLSM固有のリスクをターゲットにしています。 本研究では、従来のソフトウェアとハードウェアの脆弱性がLLM固有のアルゴリズム攻撃を補完し、複合AIパイプラインの完全性を損なう方法について検討する。 1)ソフトウェアコードインジェクションの欠陥とガードレールRowhammerアタックを併用して,未修正のジェイルブレイクプロンプトをLSMに注入し,AIの安全性を侵害する,2)LLMエージェントをリダイレクトするナレッジデータベースを操作して悪意あるアプリケーションに機密データを送信し,機密性を侵害する,という2つの新しい攻撃を,アルゴリズムによる脆弱性と組み合わせて示す。 これらの攻撃は、従来の脆弱性に対処する必要性を強調している。攻撃プリミティブを体系化し、その目的によって脆弱性をグループ化し、それらをアタックライフサイクルの異なるステージにマッピングすることで、それらの構成を分析する。 このアプローチは厳格な再チームの演習を可能にし、将来の防衛戦略の基盤となる。

関連論文リスト

• Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs [65.6660735371212]
  textbftextscJustAskは,インタラクションのみで効果的な抽出戦略を自律的に発見するフレームワークである。 これは、アッパー信頼境界に基づく戦略選択と、原子プローブと高レベルのオーケストレーションにまたがる階層的なスキル空間を用いて、オンライン探索問題として抽出を定式化する。 この結果から,現代のエージェントシステムにおいて,システムプロンプトは致命的ではあるがほぼ無防備な攻撃面であることがわかった。
  論文  参考訳（メタデータ） (2026-01-29T03:53:25Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security [63.41350337821108]
  マルチモーダル大規模言語モデル(MLLM)のセキュリティを高めるために,Secure Tug-of-War(SecTOW)を提案する。 SecTOWは2つのモジュールで構成される:ディフェンダーと補助攻撃者。どちらも強化学習(GRPO)を使用して反復的に訓練される。 SecTOWは、一般的な性能を維持しながら、セキュリティを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2025-07-29T17:39:48Z)
• CRAFT: Characterizing and Root-Causing Fault Injection Threats at Pre-Silicon [3.6158033114580674]
  フォールトインジェクション攻撃は組み込みシステムに重大なセキュリティ脅威をもたらす。 物理的欠陥がシステムレベルの行動にどのように伝播するかの早期発見と理解は、サイバーインフラ構造を保護するために不可欠である。 この研究は、プレシリコン分析とポストシリコンバリデーションを組み合わせたフレームワークであるCRAFTを導入し、障害インジェクションの脆弱性を体系的に発見し分析する。
  論文  参考訳（メタデータ） (2025-03-05T20:17:46Z)
• Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks [88.84977282952602]
  最近のMLセキュリティ文献は、整列型大規模言語モデル(LLM)に対する攻撃に焦点を当てている。 本稿では,LLMエージェントに特有のセキュリティとプライバシの脆弱性を分析する。 我々は、人気のあるオープンソースおよび商用エージェントに対する一連の実証的な攻撃を行い、その脆弱性の即時的な影響を実証した。
  論文  参考訳（メタデータ） (2025-02-12T17:19:36Z)
• POEX: Towards Policy Executable Jailbreak Attacks Against the LLM-based Robots [12.356183647226306]
  本稿では,LLM型ロボットに対するジェイルブレイク攻撃の実現可能性と理性について検討する。 より徹底的なセキュリティ分析を可能にするため、POEX(Policy Executable)ジェイルブレイクを導入する。 実世界のロボットシステムおよびシミュレーション実験は、POEXの有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-21T13:58:27Z)
• SoK: A Systems Perspective on Compound AI Threats and Countermeasures [3.458371054070399]
  我々は、複合AIシステムに適用可能な、異なるソフトウェアとハードウェアの攻撃について議論する。 複数の攻撃機構を組み合わせることで、孤立攻撃に必要な脅威モデル仮定をいかに削減できるかを示す。
  論文  参考訳（メタデータ） (2024-11-20T17:08:38Z)
• h4rm3l: A language for Composable Jailbreak Attack Synthesis [48.5611060845958]
  h4rm3lは、人間が読めるドメイン固有言語とのギャップに対処する新しいアプローチである。 我々は、h4rm3lの合成攻撃は、文献における既存のジェイルブレイク攻撃よりも多様で、より成功していることを示す。
  論文  参考訳（メタデータ） (2024-08-09T01:45:39Z)
• Towards Automated Classification of Attackers' TTPs by combining NLP with ML Techniques [77.34726150561087]
  我々は,NLP(Natural Language Processing)と,研究におけるセキュリティ情報抽出に使用される機械学習技術の評価と比較を行った。 本研究では,攻撃者の戦術や手法に従って非構造化テキストを自動的に分類するデータ処理パイプラインを提案する。
  論文  参考訳（メタデータ） (2022-07-18T09:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。