論文の概要: SoK: Rethinking Jailbreaking in the Era of Agentic AI: Attacks, Defenses, and Practical Consideration

• arxiv url: http://arxiv.org/abs/2609.12413v1
• Date: Fri, 11 Sep 2026 04:04:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.617879
• Title: SoK: Rethinking Jailbreaking in the Era of Agentic AI: Attacks, Defenses, and Practical Consideration
• Title（参考訳）: SoK:エージェントAI時代の脱獄を再考する:攻撃、防衛、実践的考察
• Abstract要約: 大規模言語モデル(LLM)は、会話アシスタントからエージェントAIシステムへと急速に進化している。 現代のモデルは、当初多くのジェイルブレイク攻撃や防衛が研究されていた初期の世代よりも、はるかに強力なネイティブの安全アライメントを示す。 我々は,ユーザインタラクション,計画,メモリ,ツール使用,エージェント間通信にまたがる攻撃と防御の統合を開発する。
• 参考スコア（独自算出の注目度）: 1.5019059201577258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are rapidly evolving from conversational assistants into agentic AI systems that reason, plan, invoke tools, maintain persistent memory, communicate with other agents, and execute multi-step tasks. At the same time, modern models exhibit substantially stronger native safety alignment than earlier generations on which many jailbreak attacks and defenses were originally studied. This shift raises a fundamental question: \textit{which established jailbreak-security findings remain valid in the era of modern LLMs and agentic AI?} We address this question through a Systematization of Knowledge (SoK) that reframes jailbreak security around the full agentic execution pipeline. We develop unified taxonomies of attacks and defenses spanning user interaction, planning and reasoning, memory, tool use, and inter-agent communication, and introduce a security--utility--efficiency evaluation framework that separates native harmful-prompt safety, adversarial jailbreak robustness, and agent-level security outcomes. We further conduct a controlled empirical study of representative attacks and defenses within a common agentic framework. Our results reveal three important gaps. First, strong native alignment does not imply robustness to adversarial jailbreaks. Second, defense effectiveness is highly model-, attack-, and component-dependent and can come at substantial cost in over-refusal, utility, and latency. Third, low final-response attack success can mask severe intermediate compromise: planning, memory, and tool interactions may remain unsafe even when the final response is successfully filtered. These findings motivate a shift from response-centric jailbreak defense toward cross-layer, execution-aware security that protects agent state, component transitions, and external actions while preserving practical utility and efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、会話アシスタントからエージェントAIシステムへと急速に進化している。 同時に、現代のモデルは、多くのジェイルブレイク攻撃や防衛が研究された初期の世代よりもはるかに強力なネイティブ安全アライメントを示す。 現代のLLMとエージェントAIの時代において、jailbreakセキュリティの発見を確立した‘textit{ that established jailbreak-security findings’は有効か? 私たちは、完全なエージェント実行パイプラインの周りにジェイルブレイクのセキュリティを再構築する、知識の体系化(SoK)を通じてこの問題に対処します。 我々は,ユーザインタラクション,計画と推論,メモリ,ツール使用,エージェント間通信にまたがる攻撃と防御の統一的な分類法を開発し,原住民の有害な安全,敵対的ジェイルブレイクの堅牢性,エージェントレベルのセキュリティ成果を分離するセキュリティ・ユーティリティ・エフェクト評価フレームワークを導入する。 我々はまた、共通のエージェント・フレームワーク内で、代表的攻撃と防御に関する制御された実証的研究を行う。 私たちの結果は3つの重要なギャップを浮き彫りにした。 第一に、強いネイティブアライメントは、敵のジェイルブレイクに対して堅牢さを暗示しない。 第二に、ディフェンスの有効性はモデル、アタック、コンポーネントに依存しており、過剰な拒絶、ユーティリティ、レイテンシでかなりのコストがかかる可能性がある。 第三に、最終応答性の低い攻撃の成功は、計画、メモリ、ツール間の相互作用が、最終応答がフィルターに成功しても安全ではないという重大な中間妥協を隠蔽する可能性がある。 これらの発見は、応答中心のジェイルブレイク防御から、エージェントの状態、コンポーネント遷移、外部アクションを保護し、実用性と効率を保ちながら、クロスレイヤー、実行対応セキュリティへの移行を動機付けている。

関連論文リスト

• Jailbreaking Large Language Models through Iterative Tool-Disguised Attacks via Reinforcement Learning [26.571996871795154]
  iMIST (underlineinteractive underlineMulti-step underlineProgreunderlinessive underlineTool-disguised Jailbreak Attack) は、現在の防御機構の脆弱性を利用する新しい適応型ジェイルブレイク手法である。 広く使われているモデルの実験では、iMISTは低い拒絶率を維持しながら高い攻撃効果を発揮することが示された。
  論文  参考訳（メタデータ） (2026-01-09T01:41:39Z)
• Defending Large Language Models Against Jailbreak Exploits with Responsible AI Considerations [0.9732319879728966]
  大きな言語モデル(LLM)は、安全フィルタを回避し、有害または非倫理的な振る舞いを誘発するジェイルブレイクの悪用に影響を受けやすいままである。 この研究は、即時レベル、モデルレベル、トレーニングタイムの介入にまたがって、既存のジェイルブレイク防御の体系的な分類を提示している。
  論文  参考訳（メタデータ） (2025-11-24T09:38:11Z)
• NeuroBreak: Unveil Internal Jailbreak Mechanisms in Large Language Models [68.09675063543402]
  NeuroBreakは、ニューロンレベルの安全性メカニズムを分析し、脆弱性を軽減するために設計されたトップダウンのジェイルブレイク分析システムである。 レイヤワイドな表現探索分析を取り入れることで、NeuroBreakはモデルの意思決定プロセスに関する新たな視点を提供する。 本システムの有効性を検証するために,定量的評価とケーススタディを実施している。
  論文  参考訳（メタデータ） (2025-09-04T08:12:06Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• Test-Time Immunization: A Universal Defense Framework Against Jailbreaks for (Multimodal) Large Language Models [80.66766532477973]
  テストタイム免疫(TIM)は、自己進化的な方法で様々なジェイルブレイク攻撃に対して適応的に防御することができる。 テストタイム免疫(TIM)は、自己進化的な方法で様々なジェイルブレイク攻撃に対して適応的に防御することができる。
  論文  参考訳（メタデータ） (2025-05-28T11:57:46Z)
• Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
  本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。 GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。 GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
  論文  参考訳（メタデータ） (2025-02-23T23:35:15Z)
• SafeInt: Shielding Large Language Models from Jailbreak Attacks via Safety-Aware Representation Intervention [14.509085965856643]
  我々は,大規模言語モデルをジェイルブレイク攻撃から保護する新しい防御手法であるSafeIntervention(SafeInt)を提案する。 SafeIntのコアアイデアは、Jailbreakに関連する表現を拒絶領域に移動させることです。 6件のJailbreak攻撃、2件のJailbreakデータセット、2件のユーティリティベンチマークに関する包括的な実験を行います。
  論文  参考訳（メタデータ） (2025-02-21T17:12:35Z)
• Immune: Improving Safety Against Jailbreaks in Multi-modal LLMs via Inference-Time Alignment [97.38766396447369]
  訓練時安全アライメントにもかかわらず、Multimodal Large Language Models (MLLM) はジェイルブレイク攻撃に対して脆弱である。 我々は,ジェイルブレイク攻撃に対する防御のために,制御復号化による安全な報酬モデルを活用する推論時防御フレームワークImmuneを提案する。
  論文  参考訳（メタデータ） (2024-11-27T19:00:10Z)
• The VLLM Safety Paradox: Dual Ease in Jailbreak Attack and Defense [56.32083100401117]
  Vision Large Language Models(VLLMs)のジェイルブレイク攻撃に対する脆弱性は、驚くにあたらない。 これらの攻撃に対する最近の防御機構は、ベンチマーク評価においてほぼ飽和状態に達している。
  論文  参考訳（メタデータ） (2024-11-13T07:57:19Z)
• AutoJailbreak: Exploring Jailbreak Attacks and Defenses through a Dependency Lens [83.08119913279488]
  本稿では,ジェイルブレイク攻撃と防衛技術における依存関係の体系的解析について述べる。 包括的な、自動化された、論理的な3つのフレームワークを提案します。 このアンサンブル・ジェイルブレイク・アタックと防衛の枠組みは,既存の研究を著しく上回る結果となった。
  論文  参考訳（メタデータ） (2024-06-06T07:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。