論文の概要: Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications

• arxiv url: http://arxiv.org/abs/2403.02817v1
• Date: Tue, 5 Mar 2024 09:37:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-17 17:01:02.773638
• Title: Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications
• Title（参考訳）: AIワームが登場:GenAIベースのアプリケーションをターゲットにしたゼロクリックワームを公開
• Authors: Stav Cohen, Ron Bitton, Ben Nassi,
• Abstract要約: Morris IIは、敵対的な自己複製プロンプトを用いて、GenAIエコシステムをターゲットにした最初のワームである。 我々は、GenAIを利用した電子メールアシスタントに対するMoris IIの適用を2つのユースケースで実証した。
• 参考スコア（独自算出の注目度）: 6.904930679944526
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the past year, numerous companies have incorporated Generative AI (GenAI) capabilities into new and existing applications, forming interconnected Generative AI (GenAI) ecosystems consisting of semi/fully autonomous agents powered by GenAI services. While ongoing research highlighted risks associated with the GenAI layer of agents (e.g., dialog poisoning, membership inference, prompt leaking, jailbreaking), a critical question emerges: Can attackers develop malware to exploit the GenAI component of an agent and launch cyber-attacks on the entire GenAI ecosystem? This paper introduces Morris II, the first worm designed to target GenAI ecosystems through the use of adversarial self-replicating prompts. The study demonstrates that attackers can insert such prompts into inputs that, when processed by GenAI models, prompt the model to replicate the input as output (replication), engaging in malicious activities (payload). Additionally, these inputs compel the agent to deliver them (propagate) to new agents by exploiting the connectivity within the GenAI ecosystem. We demonstrate the application of Morris II against GenAIpowered email assistants in two use cases (spamming and exfiltrating personal data), under two settings (black-box and white-box accesses), using two types of input data (text and images). The worm is tested against three different GenAI models (Gemini Pro, ChatGPT 4.0, and LLaVA), and various factors (e.g., propagation rate, replication, malicious activity) influencing the performance of the worm are evaluated.
• Abstract（参考訳）: この1年間で、多くの企業がGenerative AI(GenAI)機能を新規および既存のアプリケーションに組み入れ、GenAIサービスを利用した半完全自律エージェントで構成される相互接続されたGenerative AI(GenAI)エコシステムを形成した。 進行中の調査では、GenAIエージェントのレイヤに関連するリスク(ダイアログ中毒、会員推測、即時リーク、脱獄など)が強調されているが、重要な疑問が浮かび上がっている。 本稿では、敵対的な自己複製プロンプトを用いて、GenAIエコシステムをターゲットにした最初のワームであるモリスIIを紹介する。 この研究は、攻撃者がそのようなプロンプトを入力に挿入できることを示し、GenAIモデルによって処理されると、モデルに入力を出力(複製)として複製させ、悪意のある活動(ペイロード)を行うように促す。 さらに、これらの入力は、GenAIエコシステム内の接続性を活用することにより、エージェントに新たなエージェントへの(プロパゲート)配信を強制する。 我々は、2種類の入力データ(テキストと画像)を用いて、2種類の設定(ブラックボックスとホワイトボックスアクセス)で、GenAIを利用した電子メールアシスタントに対するモリスIIの適用を実証した。 このワームは、Gemini Pro、ChatGPT 4.0、LLaVAの3つの異なるGenAIモデルに対して試験され、ワームの性能に影響を与える様々な要因(例えば、伝播速度、複製、悪意のある活動)が評価される。

関連論文リスト

• Generative Active Adaptation for Drifting and Imbalanced Network Intrusion Detection [15.146203784334086]
  モデルロバスト性を高めつつラベル付けの労力を最小限に抑える生成能動適応フレームワークを提案する。 我々は、シミュレーションIDSデータと実世界のISPデータセットの両方でエンドツーエンドのフレームワークを評価した。 本フレームワークは,ラベリングコストを低減しつつ,レア攻撃検出を効果的に向上させ,実世界の侵入検知のためのスケーラブルで適応的なソリューションである。
  論文  参考訳（メタデータ） (2025-03-04T21:49:42Z)
• The Roles of Generative Artificial Intelligence in Internet of Electric Vehicles [65.14115295214636]
  我々は特に、電気自動車のインターネット(IoEV)について検討し、GenAI for IoEVを4つの異なる層に分類する。 IoEVアプリケーションの各レイヤで使用されるさまざまなGenAI技術を紹介します。 GenAIモデルのトレーニングに利用可能なパブリックデータセットを要約する。
  論文  参考訳（メタデータ） (2024-09-24T05:12:10Z)
• Unleashing Worms and Extracting Data: Escalating the Outcome of Attacks against RAG-based Inference in Scale and Severity Using Jailbreaking [6.904930679944526]
  我々は、GenAIモデルをジェイルブレイクする能力により、攻撃者はRAGベースのアプリケーションに対する攻撃の結果をエスカレートできることを示した。 論文の前半では、攻撃者がRAG文書抽出攻撃に対してRAGメンバシップ推論攻撃をエスカレートできることが示されている。 論文の第2部では、攻撃者がRAGデータ中毒攻撃の規模を拡大し、単一のアプリケーションに妥協することで、GenAIエコシステム全体を妥協できることを示す。
  論文  参考訳（メタデータ） (2024-09-12T13:50:22Z)
• A Jailbroken GenAI Model Can Cause Substantial Harm: GenAI-powered Applications are Vulnerable to PromptWares [6.904930679944526]
  我々は、ジェイルブレイクしたGenAIモデルが、GenAIベースのアプリケーションに重大なダメージを与える可能性があることを示す。 PromptWareは、GenAIモデルの振る舞いを、アプリケーションの提供から攻撃へと反転させる新しいタイプの攻撃である。
  論文  参考訳（メタデータ） (2024-08-09T13:32:50Z)
• Generative artificial intelligence in dentistry: Current approaches and future challenges [0.0]
  生成AI(GenAI)モデルは、複雑なモデルと対話する自然言語インターフェースを提供することによって、AIのユーザビリティギャップを橋渡しする。 歯科教育では、GenAIモデルのみを推進し、多くの疑問を解決できる機会を得た。 GenAIは、新しい薬物発見から学術論文の補助まで、歯科医学研究にも利用することができる。
  論文  参考訳（メタデータ） (2024-07-24T03:33:47Z)
• AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
  本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。 従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。 エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
  論文  参考訳（メタデータ） (2024-07-17T17:59:47Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
  コードインテリジェンスタスクにおける即時学習の有効性について検討する。 既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。 本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T13:37:00Z)
• At the Dawn of Generative AI Era: A Tutorial-cum-Survey on New Frontiers in 6G Wireless Intelligence [11.847999494242387]
  ジェネレーティブAI(Generative AI、ジェネレーティブAI)は、入力データの基盤となるデータ分布、パターン、特徴を識別できるジェネレーティブモデル(GM)である。 これにより、GenAIは、実世界のデータが不足し、不完全で、取得にコストがかかり、モデル化や理解が難しい、無線領域において重要な資産となる。 我々は、セマンティック/THz/ニアフィールド通信、ISAC、超大型アンテナアレイ、デジタルツイン、AI生成コンテンツサービス、モバイルエッジコンピューティングとエッジAI、敵対的ML、信頼に値する6Gネットワーク研究の先駆的な領域におけるGMの役割を概説する。
  論文  参考訳（メタデータ） (2024-02-02T06:23:25Z)
• Prompt Smells: An Omen for Undesirable Generative AI Outputs [4.105236597768038]
  我々は、GenAIモデルの適用に関する制約に対処する上で、研究コミュニティに役立つ2つの新しい概念を提案する。 まず、GenAI出力の「望ましさ」の定義と、それに影響を与える3つの要因について述べる。 第2に、Martin Fowler氏のコードの臭いからインスピレーションを得た上で、我々は「急激な臭い」の概念と、それらがGenAI出力の嫌悪性に与える影響について提案する。
  論文  参考訳（メタデータ） (2024-01-23T10:10:01Z)
• Efficient Trigger Word Insertion [9.257916713112945]
  我々の主な目的は、テキストバックドア攻撃において、良好なアタック成功率(ASR)を達成しつつ、有毒なサンプルの数を減らすことである。 トリガー語最適化と有毒なサンプル選択の観点から,効率的なトリガー語挿入戦略を提案する。 提案手法は, 汚れラベル設定で有毒な試料が10個あれば90%以上を達成でき, クリーンラベル設定ではトレーニングデータの1.5%しか必要としない。
  論文  参考訳（メタデータ） (2023-11-23T12:15:56Z)
• Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
  多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。 MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。 我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-10-18T11:36:42Z)
• Identifying and Mitigating the Security Risks of Generative AI [179.2384121957896]
  本稿では,GenAIによる双対ジレンマに関するGoogleのワークショップの成果を報告する。 GenAIはまた、攻撃者が新しい攻撃を生成し、既存の攻撃のベロシティと有効性を高めるためにも使用できる。 この話題について,コミュニティの短期的,長期的目標について論じる。
  論文  参考訳（メタデータ） (2023-08-28T18:51:09Z)
• Improved Activation Clipping for Universal Backdoor Mitigation and Test-Time Detection [27.62279831135902]
  ディープニューラルネットワークは、攻撃者がバックドアトリガーでトレーニングセットに毒を盛るトロイア攻撃に対して脆弱である。 近年の研究では、バックドア中毒は攻撃されたモデルにおいて過剰な適合(通常、大きな活性化)を引き起こすことが示されている。 我々は、分類マージンを明示的に制限するためにアクティベーション境界を選択する新しいアプローチを考案する。
  論文  参考訳（メタデータ） (2023-08-08T22:47:39Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• IMBERT: Making BERT Immune to Insertion-based Backdoor Attacks [45.81957796169348]
  バックドア攻撃は、機械学習モデルに対する汚いセキュリティ脅威だ。 IMBERTは、被害者モデルから得られた勾配または自己注意スコアを用いて、バックドア攻撃に対する自己防衛を行う。 我々の実証研究は、IMBERTが挿入されたトリガーの98.5%を効果的に識別できることを示した。
  論文  参考訳（メタデータ） (2023-05-25T22:08:57Z)
• GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.08127062293111]
  Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。 GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
  論文  参考訳（メタデータ） (2021-10-19T18:07:07Z)
• The Feasibility and Inevitability of Stealth Attacks [63.14766152741211]
  我々は、攻撃者が汎用人工知能システムにおける決定を制御できる新しい敵の摂動について研究する。 敵対的なデータ修正とは対照的に、ここで考慮する攻撃メカニズムには、AIシステム自体の変更が含まれる。
  論文  参考訳（メタデータ） (2021-06-26T10:50:07Z)
• Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning [95.60856995067083]
  この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。 本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。 実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
  論文  参考訳（メタデータ） (2021-06-01T07:10:54Z)
• Combating Adversaries with Anti-Adversaries [118.70141983415445]
  特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。 我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。 我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2021-03-26T09:36:59Z)
• Adversarial vs behavioural-based defensive AI with joint, continual and active learning: automated evaluation of robustness to deception, poisoning and concept drift [62.997667081978825]
  人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。 本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
  論文  参考訳（メタデータ） (2020-01-13T13:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。