論文の概要: Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications

• arxiv url: http://arxiv.org/abs/2403.02817v2
• Date: Thu, 30 Jan 2025 11:11:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-01 01:16:54.313915
• Title: Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications
• Title（参考訳）: AIワームが登場:GenAIベースのアプリケーションをターゲットにしたゼロクリックワームを公開
• Authors: Stav Cohen, Ron Bitton, Ben Nassi,
• Abstract要約: Morris-IIはコンピュータワームのような連鎖反応で、私たちがGenAIベースのアプリケーションと呼ぶ。 我々は、GenAIを利用した電子メールアシスタントのGenAIエコシステム内で、機密データ抽出の連鎖を作成する際のワームの性能を評価する。 我々は,Morris-IIの伝播を最小レイテンシ,高精度,偽陽性率で検出・防止するためのガードレールであるVirtual Donkeyを紹介する。
• 参考スコア（独自算出の注目度）: 6.904930679944526
• License:
• Abstract: In this paper, we show that when the communication between GenAI-powered applications relies on RAG-based inference, an attacker can initiate a computer worm-like chain reaction that we call Morris-II. This is done by crafting an adversarial self-replicating prompt that triggers a cascade of indirect prompt injections within the ecosystem and forces each affected application to perform malicious actions and compromise the RAG of additional applications. We evaluate the performance of the worm in creating a chain of confidential user data extraction within a GenAI ecosystem of GenAI-powered email assistants and analyze how the performance of the worm is affected by the size of the context, the adversarial self-replicating prompt used, the type and size of the embedding algorithm employed, and the number of hops in the propagation. Finally, we introduce the Virtual Donkey, a guardrail intended to detect and prevent the propagation of Morris-II with minimal latency, high accuracy, and a low false-positive rate. We evaluate the guardrail's performance and show that it yields a perfect true-positive rate of 1.0 with a false-positive rate of 0.015, and is robust against out-of-distribution worms, consisting of unseen jailbreaking commands, a different email dataset, and various worm usecases.
• Abstract（参考訳）: 本稿では,GenAIを利用したアプリケーション間の通信がRAGに基づく推論に依存する場合,攻撃者はモリスIIと呼ばれるコンピュータワーム様連鎖反応を開始することができることを示す。 これは、エコシステム内で間接的なプロンプトインジェクションのカスケードをトリガーする敵の自己複製プロンプトを作成し、影響を受ける各アプリケーションに対して悪意のあるアクションを実行させ、追加アプリケーションのRAGを妥協させることによって行われる。 我々は、GenAIを利用した電子メールアシスタントのGenAIエコシステム内で機密データ抽出の連鎖を作成する際のワームの性能を評価し、ワームの性能が、コンテキストのサイズ、敵の自己複製プロンプト、組込みアルゴリズムのタイプとサイズ、伝播中のホップの数によってどのように影響を受けるかを分析する。 最後に、最小レイテンシ、高い精度、低い偽陽性率でモリスIIの伝播を検出し防止するためのガードレールであるVirtual Donkeyを紹介する。 ガードレールの性能を評価し, 完全真陽性率1.0, 偽陽性率0.015を示し, 未確認のジェイルブレイクコマンド, 異なる電子メールデータセット, 各種のワームユースケースからなる分布外ワームに対して堅牢であることを示す。

関連論文リスト

• The Roles of Generative Artificial Intelligence in Internet of Electric Vehicles [65.14115295214636]
  我々は特に、電気自動車のインターネット(IoEV)について検討し、GenAI for IoEVを4つの異なる層に分類する。 IoEVアプリケーションの各レイヤで使用されるさまざまなGenAI技術を紹介します。 GenAIモデルのトレーニングに利用可能なパブリックデータセットを要約する。
  論文  参考訳（メタデータ） (2024-09-24T05:12:10Z)
• Unleashing Worms and Extracting Data: Escalating the Outcome of Attacks against RAG-based Inference in Scale and Severity Using Jailbreaking [6.904930679944526]
  我々は、GenAIモデルをジェイルブレイクする能力により、攻撃者はRAGベースのアプリケーションに対する攻撃の結果をエスカレートできることを示した。 論文の前半では、攻撃者がRAG文書抽出攻撃に対してRAGメンバシップ推論攻撃をエスカレートできることが示されている。 論文の第2部では、攻撃者がRAGデータ中毒攻撃の規模を拡大し、単一のアプリケーションに妥協することで、GenAIエコシステム全体を妥協できることを示す。
  論文  参考訳（メタデータ） (2024-09-12T13:50:22Z)
• A Jailbroken GenAI Model Can Cause Substantial Harm: GenAI-powered Applications are Vulnerable to PromptWares [6.904930679944526]
  我々は、ジェイルブレイクしたGenAIモデルが、GenAIベースのアプリケーションに重大なダメージを与える可能性があることを示す。 PromptWareは、GenAIモデルの振る舞いを、アプリケーションの提供から攻撃へと反転させる新しいタイプの攻撃である。
  論文  参考訳（メタデータ） (2024-08-09T13:32:50Z)
• Generative artificial intelligence in dentistry: Current approaches and future challenges [0.0]
  生成AI(GenAI)モデルは、複雑なモデルと対話する自然言語インターフェースを提供することによって、AIのユーザビリティギャップを橋渡しする。 歯科教育では、GenAIモデルのみを推進し、多くの疑問を解決できる機会を得た。 GenAIは、新しい薬物発見から学術論文の補助まで、歯科医学研究にも利用することができる。
  論文  参考訳（メタデータ） (2024-07-24T03:33:47Z)
• Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
  コードインテリジェンスタスクにおける即時学習の有効性について検討する。 既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。 本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T13:37:00Z)
• At the Dawn of Generative AI Era: A Tutorial-cum-Survey on New Frontiers in 6G Wireless Intelligence [11.847999494242387]
  ジェネレーティブAI(Generative AI、ジェネレーティブAI)は、入力データの基盤となるデータ分布、パターン、特徴を識別できるジェネレーティブモデル(GM)である。 これにより、GenAIは、実世界のデータが不足し、不完全で、取得にコストがかかり、モデル化や理解が難しい、無線領域において重要な資産となる。 我々は、セマンティック/THz/ニアフィールド通信、ISAC、超大型アンテナアレイ、デジタルツイン、AI生成コンテンツサービス、モバイルエッジコンピューティングとエッジAI、敵対的ML、信頼に値する6Gネットワーク研究の先駆的な領域におけるGMの役割を概説する。
  論文  参考訳（メタデータ） (2024-02-02T06:23:25Z)
• Prompt Smells: An Omen for Undesirable Generative AI Outputs [4.105236597768038]
  我々は、GenAIモデルの適用に関する制約に対処する上で、研究コミュニティに役立つ2つの新しい概念を提案する。 まず、GenAI出力の「望ましさ」の定義と、それに影響を与える3つの要因について述べる。 第2に、Martin Fowler氏のコードの臭いからインスピレーションを得た上で、我々は「急激な臭い」の概念と、それらがGenAI出力の嫌悪性に与える影響について提案する。
  論文  参考訳（メタデータ） (2024-01-23T10:10:01Z)
• Identifying and Mitigating the Security Risks of Generative AI [179.2384121957896]
  本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。 GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。 この話題について,コミュニティの短期的,長期的目標について論じる。
  論文  参考訳（メタデータ） (2023-08-28T18:51:09Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.08127062293111]
  Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。 GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
  論文  参考訳（メタデータ） (2021-10-19T18:07:07Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。