論文の概要: Jailbreaking Frontier Foundation Models Through Intention Deception
- arxiv url: http://arxiv.org/abs/2604.24082v1
- Date: Mon, 27 Apr 2026 06:12:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.766263
- Title: Jailbreaking Frontier Foundation Models Through Intention Deception
- Title（参考訳）: 意図的騙しによるフロンティア財団モデルの脱獄
- Abstract要約: 大きな(ビジョン-)モデルは優れた能力を示すが、ジェイルブレイクの影響を受けやすい。
本稿では,この脆弱性を利用した新しいマルチターンジェイルブレイク手法を提案する。
当社のアプローチでは、パラジェイルブレークと呼ばれる新たなモデルの脆弱性も発見しました。
- 参考スコア（独自算出の注目度）: 6.119674554651102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large (vision-)language models exhibit remarkable capability but remain highly susceptible to jailbreaking. Existing safety training approaches aim to have the model learn a refusal boundary between safe and unsafe, based on the user's intent. It has been found that this binary training regime often leads to brittleness, since the user intent cannot reliably be evaluated, especially if the attacker obfuscates their intent, and also makes the system seem unhelpful. In response, frontier models, such as GPT-5, have shifted from refusal-based safeguards to safe completion, that aims to maximize helpfulness while obeying safety constraints. However, safe completion could be exploited when a user pretends their intention is benign. Specifically, this intent inversion would be effective in multi-turn conversation, where the attacker has multiple opportunities to reinforce their deceptively benign intent. In this work, we introduce a novel multi-turn jailbreaking method that exploits this vulnerability. Our approach gradually builds conversational trust by simulating benign-seeming intentions and by exploiting the consistency property of the model, ultimately guiding the target model toward harmful, detailed outputs. Most crucially, our approach also uncovered an additional class of model vulnerability that we call para-jailbreaking that has been unnoticed up to now. Para-jailbreaking describes the situation where the model may not reveal harmful direct reply to the attack query, however the information that it reveals is nevertheless harmful. Our contributions are threefold. First, it achieves high success rates against frontier models including GPT-5-thinking and Claude-Sonnet-4.5. Second, our approach revealed and addressed para-jailbreaking harmful output. Third, experiments on multimodal VLM models showed that our approach outperformed state-of-the-art models.
- Abstract（参考訳）: 大きな(視覚的な)言語モデルは優れた能力を示すが、ジェイルブレイクの影響を受けやすい。
既存の安全トレーニングアプローチは、モデルの利用者の意図に基づいて、安全と安全の間の拒絶境界を学習させることを目的としている。
このバイナリトレーニング体制は、特に攻撃者が意図を混乱させた場合、ユーザーの意図を確実に評価することができず、システムの不安定さを損なうことがしばしば見出されている。
これに対して, GPT-5 などのフロンティアモデルでは, 安全制約を遵守しながら, 利便性を最大化することを目的とした, 拒絶ベースの安全ガードからセーフコンプリートへと移行している。
しかし、ユーザーが自分の意図を無視しているふりをすると、安全な完了が悪用される可能性がある。
具体的には、この意図の逆転はマルチターン会話において有効であり、攻撃者は知覚的に良識のある意図を補強する複数の機会を持つ。
本研究では,この脆弱性を利用した新しいマルチターンジェイルブレイク手法を提案する。
我々のアプローチは、良心的な意図をシミュレートし、モデルの一貫性性を活かし、最終的にターゲットモデルを有害で詳細な出力へと導くことによって、徐々に会話信頼を構築していく。
最も重要なことに、当社のアプローチは、これまで気付かれていなかったパラジェイルブレークと呼ばれる、新たなモデルの脆弱性も発見しました。
パラジェイルブレイク(Para-jailbreaking)は、攻撃クエリに対する有害な直接応答をモデルが明らかにしない状況を記述する。
私たちの貢献は3倍です。
まず、GPT-5-thinkingやClaude-Sonnet-4.5といったフロンティアモデルに対して高い成功率を達成する。
第2に, パラジェイル破砕による有害なアウトプットを明らかにし, 対処した。
第3に、マルチモーダルVLMモデルに対する実験により、我々のアプローチは最先端モデルよりも優れていた。
関連論文リスト
- Safety Paradox: How Enhanced Safety Awareness Leaves LLMs Vulnerable to Posterior Attack [19.201635180438313]
大規模言語モデル(LLM)は、有害な要求を拒否するために厳格に整列されている。
本研究では、この高度な安全意識が必然的に致命的な脆弱性をもたらすことを明らかにする。
論文 参考訳（メタデータ） (2026-06-04T02:36:41Z) - Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。
攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
論文 参考訳（メタデータ） (2025-10-13T16:16:44Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - Activation-Guided Local Editing for Jailbreaking Attacks [33.13949817155855]
トークンレベルのジェイルブレイク攻撃は、しばしば不整合または読めない入力を生み出す。
即時攻撃はスケーラビリティに欠けており、手作業や人間の創造性に大きく依存している。
本稿では,これらのアプローチの利点を組み合わせた,簡潔で効果的な2段階のフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-01T11:52:24Z) - GRAF: Multi-turn Jailbreaking via Global Refinement and Active Fabrication [55.63412213263305]
大規模言語モデルは、悪意のある目的のために誤用される可能性があるため、顕著な安全性のリスクを生じさせる。
そこで本研究では,各インタラクションにおける攻撃経路をグローバルに洗練する,新しいマルチターンジェイルブレーキング手法を提案する。
さらに、モデル応答を積極的に作成し、安全性に関する警告を抑えることにより、有害な出力を誘発する可能性を高める。
論文 参考訳（メタデータ） (2025-06-22T03:15:05Z) - No, of Course I Can! Deeper Fine-Tuning Attacks That Bypass Token-Level Safety Mechanisms [22.667573777927203]
我々は、まずモデルに応答する前に有害な要求を拒否するよう訓練する新しい微調整攻撃を提案する。
この "refuse-then-comply" 戦略は浅い防御をバイパスし、出力フィルタを回避する有害な応答を生成する。
われわれの攻撃はOpenAIから2000ドルのバグ報奨金を受け、Anthhropicによって脆弱性として認識された。
論文 参考訳（メタデータ） (2025-02-26T20:20:01Z) - Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。
PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。
これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文 参考訳（メタデータ） (2025-01-03T15:40:03Z) - Large Language Models Are Involuntary Truth-Tellers: Exploiting Fallacy Failure for Jailbreak Attacks [6.614364170035397]
言語モデルでは、誤った推論や偽りの推論を発生させることが困難であることがわかった。
本稿では、悪意のある出力に対して一致した言語モデルを引き出すジェイルブレイク攻撃法を提案する。
論文 参考訳（メタデータ） (2024-07-01T00:23:43Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳（メタデータ） (2024-01-31T07:26:47Z) - Jailbroken: How Does LLM Safety Training Fail? [92.8748773632051]
ChatGPTの初期リリースに対する"jailbreak"攻撃は、望ましくない振る舞いを引き起こす。
このような攻撃がなぜ成功し、どのように発生できるかを考察する。
障害モードを利用した新たな攻撃は、安全でない要求の収集において、すべてのプロンプトで成功します。
論文 参考訳（メタデータ） (2023-07-05T17:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。