論文の概要: Invitation Is All You Need! Promptware Attacks Against LLM-Powered Assistants in Production Are Practical and Dangerous

• arxiv url: http://arxiv.org/abs/2508.12175v1
• Date: Sat, 16 Aug 2025 22:56:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.603985
• Title: Invitation Is All You Need! Promptware Attacks Against LLM-Powered Assistants in Production Are Practical and Dangerous
• Title（参考訳）: 招待状は必要だ! LLMで動くアシスタントを悪用するプロンプトウェアは実用的で危険
• Authors: Ben Nassi, Stav Cohen, Or Yair,
• Abstract要約: 本稿では,エンドユーザーに対するプロンプトウェアリスクを評価するための新しい脅威分析・リスクアセスメントフレームワークを提案する。 5つの脅威クラスにまたがって、ジェミニ駆動のアシスタントに対して14の攻撃シナリオを適用した。 我々のTARAは、分析された脅威の73%がエンドユーザーに高い批判的リスクをもたらすことを明らかにした。
• 参考スコア（独自算出の注目度）: 4.172921042226532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing integration of LLMs into applications has introduced new security risks, notably known as Promptware - maliciously engineered prompts designed to manipulate LLMs to compromise the CIA triad of these applications. While prior research warned about a potential shift in the threat landscape for LLM-powered applications, the risk posed by Promptware is frequently perceived as low. In this paper, we investigate the risk Promptware poses to users of Gemini-powered assistants (web application, mobile application, and Google Assistant). We propose a novel Threat Analysis and Risk Assessment (TARA) framework to assess Promptware risks for end users. Our analysis focuses on a new variant of Promptware called Targeted Promptware Attacks, which leverage indirect prompt injection via common user interactions such as emails, calendar invitations, and shared documents. We demonstrate 14 attack scenarios applied against Gemini-powered assistants across five identified threat classes: Short-term Context Poisoning, Permanent Memory Poisoning, Tool Misuse, Automatic Agent Invocation, and Automatic App Invocation. These attacks highlight both digital and physical consequences, including spamming, phishing, disinformation campaigns, data exfiltration, unapproved user video streaming, and control of home automation devices. We reveal Promptware's potential for on-device lateral movement, escaping the boundaries of the LLM-powered application, to trigger malicious actions using a device's applications. Our TARA reveals that 73% of the analyzed threats pose High-Critical risk to end users. We discuss mitigations and reassess the risk (in response to deployed mitigations) and show that the risk could be reduced significantly to Very Low-Medium. We disclosed our findings to Google, which deployed dedicated mitigations.
• Abstract（参考訳）: アプリケーションへのLSMの統合が拡大し、特に Promptware として知られる新たなセキュリティリスクがもたらされた。 以前の研究では、LDMによるアプリケーションに対する脅威の状況の変化について警告されていたが、Promptwareによって引き起こされるリスクは低いと認識されることが多い。 本稿では,Gemini搭載アシスタント(Webアプリケーション,モバイルアプリケーション,Googleアシスタント)のユーザに対して,Promptwareがもたらすリスクについて検討する。 本稿では,エンドユーザーに対するプロンプトウェアリスクを評価するための新しい脅威分析・リスクアセスメント(TARA)フレームワークを提案する。 我々の分析では,メールやカレンダーの招待状,共有ドキュメントなどの一般的なユーザインタラクションを通じて間接的なインジェクションを活用する,Targeted Promptware Attacksと呼ばれる新しいタイプのPromptwareに焦点を当てている。 脅威クラスとして,短期的コンテキストポジショニング,永続的メモリポジショニング,ツール誤用,自動エージェント呼び出し,自動アプリ起動という,ジェミニ駆動のアシスタントに対して,14の攻撃シナリオを適用した。 これらの攻撃は、スパム、フィッシング、偽情報キャンペーン、データ流出、未承認のユーザービデオストリーミング、ホームオートメーションデバイスの制御など、デジタルおよび物理的結果の両方を強調している。 我々は,デバイス上での側方移動の可能性を明らかにするとともに,LCMによるアプリケーションの境界を逸脱し,デバイスアプリケーションを使用した悪意ある動作を誘発する。 我々のTARAは、分析された脅威の73%がエンドユーザーに高い批判的リスクをもたらすことを明らかにした。 我々は、軽減とリスクの再評価(デプロイ緩和への対応)について論じ、リスクを極端に低濃度に削減できることを示す。 われわれはこの調査結果をGoogleに開示した。

関連論文リスト

• AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models [0.0]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃の脆弱性を示し続けている。 本稿では,敵対的即時生成を自動化する新しいフレームワークであるAutoAdvを紹介する。 我々の攻撃は、有害なコンテンツ生成に対して最大86%のジェイルブレイク成功率を達成したことを示す。
  論文  参考訳（メタデータ） (2025-04-18T08:38:56Z)
• SecAlign: Defending Against Prompt Injection with Preference Optimization [52.48001255555192]
  敵のプロンプトは外部のデータソースに注入され、システムの意図した命令をオーバーライドし、悪意のある命令を実行する。 我々は、好みの最適化技術に基づくSecAlignと呼ばれる新しいディフェンスを提案する。 本手法は,訓練中に見られたものよりもはるかに高度な攻撃に対しても,様々なプロンプトインジェクションの成功率を10%に下げる。
  論文  参考訳（メタデータ） (2024-10-07T19:34:35Z)
• AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs [51.217126257318924]
  大規模言語モデル(LLM)は、不適切または有害なコンテンツの生成につながるジェイルブレイク攻撃に対して脆弱である。 本稿では,AdvPrompter という別の LLM を用いて,人間可読な逆数プロンプトを数秒で生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-21T22:18:13Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Identifying and Mitigating Vulnerabilities in LLM-Integrated Applications [37.316238236750415]
  LLM統合アプリケーションのバックエンドとして,大規模言語モデル(LLM)がますます多くデプロイされている。 本研究では,ユーザとLLMがLLM統合アプリケーションを介して,中間で対話する環境について考察する。 悪意のあるアプリケーション開発者や外部からの脅威から生じる可能性のある潜在的な脆弱性を特定します。 我々は、内部の脅威と外部の脅威の両方を緩和する軽量で脅威に依存しない防御を開発する。
  論文  参考訳（メタデータ） (2023-11-07T20:13:05Z)
• Prompt Injection attack against LLM-integrated Applications [37.86878788874201]
  本研究では,実際のLCM統合アプリケーションに対するインジェクション攻撃の複雑さと意味を分解する。 従来のWebインジェクション攻撃からインスピレーションを得る新しいブラックボックスプロンプトインジェクション攻撃手法であるHouYiを定式化した。 我々は,実際のLLM統合アプリケーション36にHouYiをデプロイし,インジェクションの容易な31のアプリケーションを識別する。
  論文  参考訳（メタデータ） (2023-06-08T18:43:11Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。