論文の概要: POEX: Policy Executable Embodied AI Jailbreak Attacks

• arxiv url: http://arxiv.org/abs/2412.16633v1
• Date: Sat, 21 Dec 2024 13:58:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:11.930239
• Title: POEX: Policy Executable Embodied AI Jailbreak Attacks
• Title（参考訳）: POEX: ポリシー実行可能なEmbodied AIの脱獄攻撃
• Authors: Xuancun Lu, Zhengxian Huang, Xinfeng Li, Xiaoyu ji, Wenyuan Xu,
• Abstract要約: 私たちは、Embodied AIのコンテキストにおいて、伝統的なジェイルブレイク攻撃がどのように振る舞うのかをデミステレーションしました。 我々は、有害な命令と最適化された接尾辞をLSMベースの計画モジュールに注入するPOEX(Policy Executable)ジェイルブレイク攻撃を提案する。 本手法では, 有害な政策の実施性を改善するために, 敵の接尾辞を拘束して検出を回避し, 政策評価器を微調整する。
• 参考スコア（独自算出の注目度）: 10.87920459386508
• License:
• Abstract: The integration of large language models (LLMs) into the planning module of Embodied Artificial Intelligence (Embodied AI) systems has greatly enhanced their ability to translate complex user instructions into executable policies. In this paper, we demystified how traditional LLM jailbreak attacks behave in the Embodied AI context. We conducted a comprehensive safety analysis of the LLM-based planning module of embodied AI systems against jailbreak attacks. Using the carefully crafted Harmful-RLbench, we accessed 20 open-source and proprietary LLMs under traditional jailbreak attacks, and highlighted two key challenges when adopting the prior jailbreak techniques to embodied AI contexts: (1) The harmful text output by LLMs does not necessarily induce harmful policies in Embodied AI context, and (2) even we can generate harmful policies, we have to guarantee they are executable in practice. To overcome those challenges, we propose Policy Executable (POEX) jailbreak attacks, where harmful instructions and optimized suffixes are injected into LLM-based planning modules, leading embodied AI to perform harmful actions in both simulated and physical environments. Our approach involves constraining adversarial suffixes to evade detection and fine-tuning a policy evaluater to improve the executability of harmful policies. We conducted extensive experiments on both a robotic arm embodied AI platform and simulators, to validate the attack and policy success rates on 136 harmful instructions from Harmful-RLbench. Our findings expose serious safety vulnerabilities in LLM-based planning modules, including the ability of POEX to be transferred across models. Finally, we propose mitigation strategies, such as safety-constrained prompts, pre- and post-planning checks, to address these vulnerabilities and ensure the safe deployment of embodied AI in real-world settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)をEmbodied Artificial Intelligence(Embodied AI)システムの計画モジュールに統合することで、複雑なユーザ命令を実行可能なポリシに変換する能力が大幅に向上した。 本稿では,従来の LLM ジェイルブレイク攻撃が,Embodied AI の文脈でどのように振る舞うかを実証する。 組込みAIシステムのLCMベース計画モジュールのジェイルブレイク攻撃に対する包括的安全性解析を行った。 慎重に設計されたHarmful-RLbenchを使用して、従来のjailbreak攻撃の下で20のオープンソースおよびプロプライエタリなLLMにアクセスし、AIコンテキストを具体化する以前のjailbreakテクニックを採用する際の2つの重要な課題を強調しました。 これらの課題を克服するために、我々は、有害な命令と最適化された接尾辞をLSMベースの計画モジュールに注入し、擬似AIをシミュレートされた環境と物理的環境の両方で有害なアクションを実行する、ポリシー実行可能(POEX)ジェイルブレイク攻撃を提案する。 本手法では, 有害な政策の実施性を改善するために, 敵の接尾辞を拘束して検出を回避し, 政策評価器を微調整する。 我々はロボットアームを具現化したAIプラットフォームとシミュレータの両方で広範な実験を行い、Harmful-RLbenchから136の有害な指示に対する攻撃と政策成功率を検証した。 この結果から,LEMをベースとした計画モジュールにおいて,POEXをモデル間で転送する機能を含む重大な安全性上の脆弱性が明らかになった。 最後に、これらの脆弱性に対処し、実環境におけるエンボディドAIの安全な展開を保証するために、安全制約付きプロンプト、事前および計画後チェックなどの緩和戦略を提案する。

関連論文リスト

• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• Harnessing Task Overload for Scalable Jailbreak Attacks on Large Language Models [8.024771725860127]
  大きな言語モデル(LLM)は、安全メカニズムをバイパスするジェイルブレイク攻撃に対して脆弱なままである。 我々は, LLMの安全性ポリシーの活性化を前提として, 計算資源を占有する新しい拡張性のあるジェイルブレイク攻撃を導入する。
  論文  参考訳（メタデータ） (2024-10-05T15:10:01Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• BadRobot: Manipulating Embodied LLMs in the Physical World [20.96351292684658]
  Embodied AIは、AIが物理的な実体に統合され、周囲を知覚し、相互作用することができるシステムを表す。 強力な言語理解能力を示すLarge Language Model(LLM)は、組み込みAIに広く採用されている。 我々は,従来の音声ベースのユーザシステムインタラクションを通じて,LLMを安全性や倫理的制約に違反させることを目的とした,新たな攻撃パラダイムであるBadRobotを紹介した。
  論文  参考訳（メタデータ） (2024-07-16T13:13:16Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems [27.316115171846953]
  大規模言語モデル(LLM)は、実世界のAI意思決定タスクにおいて大きな可能性を示している。 LLMは、固有の常識と推論能力を活用するために微調整され、特定の用途に適合する。 この微調整プロセスは、特に安全クリティカルなサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらす。
  論文  参考訳（メタデータ） (2024-05-27T17:59:43Z)
• AdaShield: Safeguarding Multimodal Large Language Models from Structure-based Attack via Adaptive Shield Prompting [54.931241667414184]
  textbfAdaptive textbfShield Promptingを提案する。これは、MLLMを構造ベースのジェイルブレイク攻撃から守るための防御プロンプトで入力をプリペイドする。 我々の手法は、構造に基づくジェイルブレイク攻撃に対するMLLMの堅牢性を一貫して改善することができる。
  論文  参考訳（メタデータ） (2024-03-14T15:57:13Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [82.98081731588717]
  大規模な言語モデルと外部コンテンツの統合は、間接的にインジェクション攻撃を行うアプリケーションを公開する。 本稿では,BIPIAと呼ばれる間接的インジェクション攻撃のリスクを評価するための最初のベンチマークについて紹介する。 我々は,素早い学習に基づく2つのブラックボックス法と,逆行訓練による微調整に基づくホワイトボックス防御法を開発した。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Analyzing the Inherent Response Tendency of LLMs: Real-World Instructions-Driven Jailbreak [26.741029482196534]
  大規模言語モデル(LLM)が悪意ある指示に直面すると有害な応答を発生させる現象である。 本稿では,LDMのポテンシャルを増幅することでセキュリティ機構をバイパスし,肯定応答を生成する新しい自動ジェイルブレイク手法RADIALを提案する。 提案手法は,5つのオープンソースのLLMを用いて,英語の悪意のある命令に対する攻撃性能を良好に向上すると同時に,中国語の悪意のある命令に対するクロス言語攻撃の実行において,堅牢な攻撃性能を維持する。
  論文  参考訳（メタデータ） (2023-12-07T08:29:58Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。