論文の概要: POEX: Understanding and Mitigating Policy Executable Jailbreak Attacks against Embodied AI

• arxiv url: http://arxiv.org/abs/2412.16633v2
• Date: Mon, 10 Feb 2025 08:13:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:27:34.713153
• Title: POEX: Understanding and Mitigating Policy Executable Jailbreak Attacks against Embodied AI
• Title（参考訳）: POEX: 暴力的AIに対する実行可能なジェイルブレイク攻撃の理解と緩和
• Authors: Xuancun Lu, Zhengxian Huang, Xinfeng Li, Xiaoyu ji, Wenyuan Xu,
• Abstract要約: 複雑な命令を実行可能なポリシに変換する計画モジュールとしてLLMを統合することで、Embodied AIシステムは急速に進化している。 本稿では,従来のLLMジェイルブレイク攻撃をEAIシステムに適用する可能性と理性について検討する。
• 参考スコア（独自算出の注目度）: 10.87920459386508
• License:
• Abstract: Embodied AI systems are rapidly evolving due to the integration of LLMs as planning modules, which transform complex instructions into executable policies. However, LLMs are vulnerable to jailbreak attacks, which can generate malicious content. This paper investigates the feasibility and rationale behind applying traditional LLM jailbreak attacks to EAI systems. We aim to answer three questions: (1) Do traditional LLM jailbreak attacks apply to EAI systems? (2) What challenges arise if they do not? and (3) How can we defend against EAI jailbreak attacks? To this end, we first measure existing LLM-based EAI systems using a newly constructed dataset, i.e., the Harmful-RLbench. Our study confirms that traditional LLM jailbreak attacks are not directly applicable to EAI systems and identifies two unique challenges. First, the harmful text does not necessarily constitute harmful policies. Second, even if harmful policies can be generated, they are not necessarily executable by the EAI systems, which limits the potential risk. To facilitate a more comprehensive security analysis, we refine and introduce POEX, a novel red teaming framework that optimizes adversarial suffixes to induce harmful yet executable policies against EAI systems. The design of POEX employs adversarial constraints, policy evaluators, and suffix optimization to ensure successful policy execution while evading safety detection inside an EAI system. Experiments on the real-world robotic arm and simulator using Harmful-RLbench demonstrate the efficacy, highlighting severe safety vulnerabilities and high transferability across models. Finally, we propose prompt-based and model-based defenses, achieving an 85% success rate in mitigating attacks and enhancing safety awareness in EAI systems. Our findings underscore the urgent need for robust security measures to ensure the safe deployment of EAI in critical applications.
• Abstract（参考訳）: 複雑な命令を実行可能なポリシに変換する計画モジュールとしてLLMを統合することで、Embodied AIシステムは急速に進化している。 しかし、LSMはジェイルブレイク攻撃に弱いため、悪意のあるコンテンツを生成することができる。 本稿では,従来のLLMジェイルブレイク攻撃をEAIシステムに適用する可能性と理性について検討する。 1)従来のLLMジェイルブレイク攻撃はEAIシステムに適用されるか? 2) そうでなければ,どのような課題が生じるのか? そして(3)EAIジェイルブレイク攻撃に対してどのように防御できるのか? この目的のために我々は,新たに構築されたデータセット,すなわちHarmful-RLbenchを用いて,既存のLLMベースのEAIシステムを測定する。 本研究は,従来のLLMジェイルブレイク攻撃がEAIシステムに直接適用されないことを確認し,二つのユニークな課題を特定する。 第一に、有害な文章は必ずしも有害な政策を構成するとは限らない。 第二に、たとえ有害なポリシーを生成できるとしても、それは必ずしもEAIシステムによって実行可能ではなく、潜在的なリスクを制限します。 より包括的なセキュリティ分析を容易にするために,敵の接尾辞を最適化し,有害かつ実行可能なEAIシステムに対するポリシーを誘導する新しいレッド・チーム・フレームワークであるPOEXを改良し導入する。 POEXの設計では、EAIシステム内での安全性検出を回避しながらポリシー実行を成功させるために、敵の制約、ポリシー評価器、接尾辞最適化を採用している。 Harmful-RLbenchを用いた実世界のロボットアームとシミュレータの実験は、モデル間で深刻な安全性の脆弱性と高い転送可能性を強調する効果を実証している。 最後に,攻撃を緩和し,EAIシステムにおける安全意識を高めるために,プロンプトベースおよびモデルベース防衛を提案し,85%の成功率を達成した。 重要なアプリケーションにEAIを安全に配置するための堅牢なセキュリティ対策が緊急に必要であることを示す。

関連論文リスト

• Exploiting Prefix-Tree in Structured Output Interfaces for Enhancing Jailbreak Attacking [34.479355499938116]
  大規模言語モデル(LLM)は、重要なアプリケーションをもたらすだけでなく、深刻なセキュリティ脅威も導入している。 我々はAttackPrefixTree (APT)と呼ばれるブラックボックス攻撃フレームワークを導入する。 APTは構造化された出力インタフェースを利用して攻撃パターンを動的に構築する。 ベンチマークデータセットの実験は、このアプローチが既存の手法よりも高い攻撃成功率を達成することを示している。
  論文  参考訳（メタデータ） (2025-02-19T08:29:36Z)
• LLM-Virus: Evolutionary Jailbreak Attack on Large Language Models [59.29840790102413]
  既存のジェイルブレイク攻撃は主に不透明な最適化手法と勾配探索法に基づいている。 進化的ジェイルブレイクと呼ばれる進化的アルゴリズムに基づくジェイルブレイク攻撃手法であるLSM-Virusを提案する。 この結果から, LLM-Virus は既存の攻撃手法と比較して, 競争力や性能に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-12-28T07:48:57Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• h4rm3l: A Dynamic Benchmark of Composable Jailbreak Attacks for LLM Safety Assessment [48.5611060845958]
  我々は,静的なデータセットや攻撃や被害を克服するために,構成可能なジェイルブレイク攻撃の新たなベンチマークを提案する。 我々は、h4rm3lを使用して、6つの最先端(SOTA)オープンソースおよびプロプライエタリなLLMをターゲットにした2656の新たなジェイルブレイク攻撃のデータセットを生成する。 合成攻撃のいくつかは、以前報告した攻撃よりも効果的であり、SOTAクローズド言語モデルでは、アタック成功率は90%以上である。
  論文  参考訳（メタデータ） (2024-08-09T01:45:39Z)
• LLMs can be Dangerous Reasoners: Analyzing-based Jailbreak Attack on Large Language Models [21.02295266675853]
  既存のjailbreakメソッドには、複雑なプロンプトエンジニアリングと反復最適化の2つの大きな制限がある。 本稿では,LLMの高度な推論能力を活用し,有害コンテンツを自律的に生成する効率的なジェイルブレイク攻撃手法であるAnalyzing-based Jailbreak(ABJ)を提案する。
  論文  参考訳（メタデータ） (2024-07-23T06:14:41Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)
• Defensive Prompt Patch: A Robust and Interpretable Defense of LLMs against Jailbreak Attacks [59.46556573924901]
  本稿では,大規模言語モデル(LLM)のための新しいプロンプトベースの防御機構であるDPPを紹介する。 従来のアプローチとは異なり、DPP は LLM の高能率を維持しながら最小の攻撃成功率 (ASR) を達成するように設計されている。 LLAMA-2-7B-ChatおよびMistral-7B-Instruct-v0.2モデルによる実験結果から,DSPの堅牢性と適応性が確認された。
  論文  参考訳（メタデータ） (2024-05-30T14:40:35Z)
• Can We Trust Embodied Agents? Exploring Backdoor Attacks against Embodied LLM-based Decision-Making Systems [27.316115171846953]
  大規模言語モデル(LLM)は、実世界のAI意思決定タスクにおいて大きな可能性を示している。 LLMは、固有の常識と推論能力を活用するために微調整され、特定の用途に適合する。 この微調整プロセスは、特に安全クリティカルなサイバー物理システムにおいて、かなりの安全性とセキュリティの脆弱性をもたらす。
  論文  参考訳（メタデータ） (2024-05-27T17:59:43Z)
• Benchmarking and Defending Against Indirect Prompt Injection Attacks on Large Language Models [79.0183835295533]
  我々は,このような脆弱性のリスクを評価するために,BIPIAと呼ばれる間接的インジェクション攻撃のための最初のベンチマークを導入した。 我々の分析では、LLMが情報コンテキストと動作可能な命令を区別できないことと、外部コンテンツ内での命令の実行を回避できないことの2つの主要な要因を同定した。 ブラックボックスとホワイトボックスという2つの新しい防御機構と、これらの脆弱性に対処するための明確なリマインダーを提案する。
  論文  参考訳（メタデータ） (2023-12-21T01:08:39Z)
• Analyzing the Inherent Response Tendency of LLMs: Real-World Instructions-Driven Jailbreak [26.741029482196534]
  大規模言語モデル(LLM)が悪意ある指示に直面すると有害な応答を発生させる現象である。 本稿では,LDMのポテンシャルを増幅することでセキュリティ機構をバイパスし,肯定応答を生成する新しい自動ジェイルブレイク手法RADIALを提案する。 提案手法は,5つのオープンソースのLLMを用いて,英語の悪意のある命令に対する攻撃性能を良好に向上すると同時に,中国語の悪意のある命令に対するクロス言語攻撃の実行において,堅牢な攻撃性能を維持する。
  論文  参考訳（メタデータ） (2023-12-07T08:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。